JP4492190B2 - 情報処理装置および方法、プログラム - Google Patents

Description

本発明は、情報処理装置および方法、並びにプログラムに関し、特に、第１のコンテンツの出力中またはその前後に、その時点のユーザの状況に適した第２のコンテンツを容易に出力することができる、情報処理装置および方法、並びに、プログラムに関する。

最近、ユーザは、情報処理装置(例えば、特許文献１や特許文献２参照)を操作して、所定のコンテンツを使用している最中、即ち、例えば、メール文章を作成して、他のユーザに送信させる操作を行っていたり、他のユーザからのメール文章を受信して、閲覧する操作を行っている最中に、その情報処理装置から出力される音楽や画像をいわゆるBGM(Back ground Music)やBGV(Back ground Visual)として楽しむことができるようになっている。

特開２００３−３４５７２７号公報 特開２００３−１５０５０７号公報

しかしながら、このようなBGMやBGVを従来の情報処理装置を利用して楽しむためには、ユーザ自身が従来の情報処理装置を操作して、所望の音楽や画像を指定し（その名称等を選択し）、指定した音楽や画像の再生開始を指令する、といった煩雑な操作を行わなければならないという課題があった。

なお、コンテンツがメール文章の場合、特許文献１の技術を利用することで、メール文章に感情を付加して送信することができる。また、特許文献２の技術を利用することで、メール文章中の絵文字に対して音声をつけて送信することができる。

しかしながら、このようなメール文章を受信する情報処理装置を利用するユーザから見た場合、メール文章に添付された音声や感情等は、あくまでも送り手、即ち、メール文章を送信した情報処理装置を利用する他のユーザが選択したものであって、ユーザ自身が選択したものではない。このため、メール文章に添付された音声が情報処理装置から再生された場合、その音声は必ずしもユーザにとって満足のいく音声ではない、という課題があった。換言すると、ユーザのその時点の状態にとって適する音声で出力することは困難である、という課題もあった。また、メール文章に添付された感情を、受信した側の感性に適する音や画像で出力することは困難である、という課題もあった。

なお、上述した例では、ユーザが、メール文章等を第１のコンテンツとして使用している最中に、音楽または画像を第２のコンテンツとして使用する場合の課題として説明したが、第１のコンテンツと第２のコンテンツとして、これら以外のコンテンツが使用された場合も同様の課題が発生する。

本発明は、このような状況に鑑みてなされたものであり、第１のコンテンツの出力中またはその前後に、その時点のユーザの状況に適した第２のコンテンツを容易に出力することができるようにするものである。

本発明の情報処理装置は、第１の種類のコンテンツと、第２の種類のコンテンツとを出力可能な情報処理装置において、第１の種類のコンテンツおよび第２の種類のコンテンツの特徴を取得する取得手段と、情報処理装置が出力していた第１の種類の出力済みのコンテンツと、第１の種類の出力済みのコンテンツを情報処理装置が出力していた時間帯において、第１の種類の出力済みのコンテンツと共に使用されていた第２の種類の出力済みのコンテンツとの関連を示す1以上の関連性情報からなる履歴情報を生成する履歴情報生成手段と、履歴情報生成手段により生成された履歴情報を１以上記憶する履歴情報記憶手段と、第２の種類のコンテンツを１以上記憶するコンテンツ記憶手段と、第１の種類の新たなコンテンツの特徴と、関連性情報として履歴情報記憶手段に記憶されている１以上の第１の種類の出力済みのコンテンツの特徴との類似度を演算し、関連性情報として履歴情報記憶手段に記憶されている第２の種類の出力済みのコンテンツのうち、前記類似度が閾値以上の前記特徴を有する前記第１の種類の出力済みのコンテンツに対応する前記第２の出力済みコンテンツを、第１の種類の新たなコンテンツの出力中共に出力される第２の種類のコンテンツとして決定する決定手段とを備えることを特徴とする。

前記履歴情報生成手段は、第１の種類の前記出力済みのコンテンツの特徴を示す第１の特徴情報と、第１の種類の前記出力済みのコンテンツの出力中共に情報処理装置から出力されていた第２の種類の出力済みのコンテンツの特徴を示す第２の特徴情報とを少なくとも含む履歴情報を生成し、決定手段は、履歴情報記憶手段に記憶されている１以上の履歴情報のそれぞれの中から、第１の種類の新たなコンテンツの特徴を示す特徴情報と同一のまたは類似する第１の特徴情報を含む履歴情報を１以上選択し、選択された１以上の履歴情報のそれぞれに含まれている第２の特徴情報のそれぞれにより特定される第２の種類のコンテンツを、第１の種類の新たなコンテンツの出力中共に出力される第２の種類のコンテンツとして決定するようにすることができる。

履歴情報生成手段は、情報処理装置のユーザのコンテクストを示すコンテクスト情報を取得するコンテクスト情報取得手段を備え、第１の種類の前記出力済みのコンテンツの特徴を示す第１の特徴情報と、第１の種類の出力済みのコンテンツの出力時点におけるユーザのコンテクストを示す第１のコンテクスト情報とを少なくとも含む第１の履歴情報と、第２の種類の出力済みのコンテンツの特徴を示す第２の特徴情報と、第２の種類の出力済みのコンテンツの出力時点におけるユーザのコンテクストを示す第２のコンテクスト情報とを少なくとも含む第２の履歴情報とをそれぞれ生成し、履歴情報記憶手段は、第１の履歴情報と第２の履歴情報とを記憶し、決定手段は、履歴情報記憶手段に記憶されている１以上の第１の履歴情報のそれぞれの中から、第１の種類の新たなコンテンツの特徴を示す特徴情報と同一のまたは類似する第１の特徴情報を含む第１の履歴情報を１以上選択し、選択された１以上の履歴情報のそれぞれに含まれている第１のコンテクスト情報を取得し、履歴情報記憶手段に記憶されている１以上の第２の履歴情報のそれぞれの中から、取得された第１のコンテクスト情報と同一のまたは類似する第２のコンテクスト情報を含む第２の履歴情報を１以上選択し、選択された１以上の第２の履歴情報のそれぞれに含まれている第２の特徴情報のそれぞれにより特定される第２の種類のコンテンツを、第１の種類の新たなコンテンツの出力中共に出力される第２の種類のコンテンツとして決定するようにすることができる。

ユーザに利用される前記情報処理装置以外の他のユーザが利用する他の装置から送信されてくる、のユーザのコンテクストを示す第１のコンテクスト情報が付加された第１の種類のコンテンツを受信する受信手段をさらに備え、履歴情報生成手段は、情報処理装置のユーザのコンテクストを示すコンテクスト情報を取得するコンテクスト情報取得手段を備え、第１の種類の出力済みのコンテンツの特徴を示す第１の特徴情報と、第１の種類の出力済みのコンテンツの出力時点におけるユーザのコンテクストを示す第２のコンテクスト情報とを少なくとも含む第１の履歴情報と、第１の種類の出力済みのコンテンツの特徴を示す第１の特徴情報と、第１の種類の出力済みのコンテンツの出力中共に情報処理装置から出力されていた第２の種類の出力済みのコンテンツの特徴を示す第２の特徴情報とを少なくとも含む第２の履歴情報とをそれぞれ生成し、履歴情報記憶手段は、第１の履歴情報と第２の履歴情報とを記憶し、決定手段は、履歴情報記憶手段に記憶されている１以上の第１の履歴情報のそれぞれの中から、受信手段により受信された第１の種類の新たなコンテンツに付加されている第１のコンテクスト情報と同一のまたは類似する第２のコンテクスト情報を含む第１の履歴情報を１以上選択し、選択された１以上の履歴情報のそれぞれに含まれている第１の特徴情報を取得し、履歴情報記憶手段に記憶されている１以上の第２の履歴情報のそれぞれの中から、取得された第１の特徴情報と同一のまたは類似する第２の特徴情報を含む第２の履歴情報を１以上選択し、選択された１以上の第２の履歴情報のそれぞれに含まれている第２の特徴情報のそれぞれにより特定される第２の種類のコンテンツを、第１の種類の新たなコンテンツの出力中共に出力される第２の種類のコンテンツとして決定するようにすることができる。

本発明の情報処理装置においては、第１の種類のコンテンツおよび第２の種類のコンテンツの特徴が取得される。情報処理装置が出力していた第１の種類の出力済みのコンテンツと、第１の種類の出力済みのコンテンツを情報処理装置が出力していた時間帯において、第１の種類の出力済みのコンテンツと共に使用されていた第２の種類の出力済みのコンテンツとの関連を示す１以上の関連性情報からなる履歴情報が１以上生成されて記憶される。また、第２の種類のコンテンツが１以上記憶される。その後、第１の種類の新たなコンテンツの特徴と、関連性情報として履歴情報記憶手段に記憶されている１以上の第１の種類の出力済みのコンテンツの特徴との類似度を演算し、関連性情報として履歴情報記憶手段に記憶されている第２の種類の出力済みのコンテンツのうち、前記類似度が閾値以上の前記特徴を有する前記第１の種類の出力済みのコンテンツに対応する前記第２の出力済みコンテンツが、第１の種類の新たなコンテンツの出力中共に出力される第２の種類のコンテンツとして決定される。

本発明の情報処理方法は、第１の種類のコンテンツと、第２の種類のコンテンツとを出力可能であって、第１の種類のコンテンツおよび第２の種類のコンテンツの特徴を取得する取得手段と、第２の種類のコンテンツを１以上記憶する第１の記憶手段と、履歴情報を記憶する第２の記憶手段とを備える情報処理装置の情報処理方法において、情報処理装置が出力していた第１の種類の出力済みのコンテンツと、第１の種類の出力済みのコンテンツを情報処理装置が出力していた時間帯において、第１の種類の出力済みのコンテンツと共に使用されていた第２の種類の出力済みのコンテンツとの関連を示す1以上の関連性情報からなる履歴情報を生成する履歴情報生成ステップと、履歴情報生成ステップの処理により履歴情報が生成される毎に、その履歴情報を第２の記憶手段に記憶させることを制御する履歴情報記憶制御ステップと、記第１の種類の新たなコンテンツの特徴を取得する取得ステップと、第１の種類の新たなコンテンツの特徴と、前記関連情報として第２の記憶手段に記憶されている１以上の第１の種類の出力済みのコンテンツの特徴との類似度を演算し、関連性情報として履歴情報記憶手段に記憶されている第２の種類の出力済みのコンテンツのうち、前記類似度が閾値以上の前記特徴を有する前記第１の種類の出力済みのコンテンツに対応する前記第２の出力済みコンテンツを、第１の種類の新たなコンテンツの出力中共に出力される第２の種類のコンテンツとして決定する決定ステップとを含むことを特徴とする。

本発明のプログラムは、第１の種類のコンテンツと、第２の種類のコンテンツとを出力可能であって、第１の種類のコンテンツおよび第２の種類のコンテンツの特徴を取得する取得手段と、第２の種類のコンテンツを１以上記憶する第１の記憶手段と、履歴情報を記憶する第２の記憶手段とを備えるコンテンツ出力装置を制御するコンピュータが実行するプログラムであって、情報処理装置が出力していた第１の種類の出力済みのコンテンツと、第１の種類の出力済みのコンテンツを情報処理装置が出力していた時間帯において、第１の種類の出力済みのコンテンツと共に使用されていた第２の種類の出力済みのコンテンツとの関連を示す1以上の関連性情報からなる履歴情報を生成する履歴情報生成ステップと、履歴情報生成ステップの処理により履歴情報が生成される毎に、その履歴情報を第２の記憶手段に記憶させることを制御する履歴情報記憶制御ステップと、第１の種類の新たなコンテンツの特徴を取得する取得ステップと、第１の種類の新たなコンテンツの特徴と、関連情報として第２の記憶手段に記憶されている１以上の第１の種類の出力済みのコンテンツの特徴との類似度を演算し、関連性情報として履歴情報記憶手段に記憶されている第２の種類の出力済みのコンテンツのうち、前記類似度が閾値以上の前記特徴を有する前記第１の種類の出力済みのコンテンツに対応する前記第２の出力済みコンテンツを、第１の種類の新たなコンテンツの出力中共に出力される第２の種類のコンテンツとして決定する決定ステップとを含むことを特徴とする。

本発明の情報処理方法およびプログラムにおいては、第１の種類のコンテンツと、第２の種類のコンテンツとを出力可能であって、第１の種類のコンテンツおよび第２の種類のコンテンツの特徴を取得する取得手段と、第２の種類のコンテンツを１以上記憶する第１の記憶手段と、履歴情報を記憶する第２の記憶手段とを備える情報処理装置またはコンテンツ出力装置が対象とされる。そして、情報処理装置が出力していた第１の種類の出力済みのコンテンツと、第１の種類の出力済みのコンテンツを情報処理装置が出力していた時間帯において、第１の種類の出力済みのコンテンツと共に使用されていた第２の種類の出力済みのコンテンツとの関連を示す1以上の関連性情報からなる履歴情報が生成され、履歴情報が生成される毎に、その履歴情報を第２の記憶手段に記憶させることが制御される。その後、第１の種類の新たなコンテンツの特徴が取得され、第１の種類の新たなコンテンツの特徴と、関連情報として第２の記憶手段に記憶されている１以上の第１の種類の出力済みのコンテンツの特徴との類似度が演算され、関連性情報として履歴情報記憶手段に記憶されている第２の種類の出力済みのコンテンツのうち、前記類似度が閾値以上の前記特徴を有する前記第１の種類の出力済みのコンテンツに対応する前記第２の出力済みコンテンツが、第１の種類の新たなコンテンツの出力中共に出力される第２の種類のコンテンツとして決定される。

以上のごとく、本発明によれば、第１のコンテンツの出力中またはその前後に、第２のコンテンツを出力することができる。特に、第１のコンテンツの出力中またはその前後に、その時点のユーザの状況に適した第２のコンテンツを容易に出力することができる。

本発明によれば、プログラムが提供される。このプログラムは、上述した本発明の情報処理方法に対応するプログラムであって、例えば、図３４のパーソナルコンピュータにより実行される。

次に、図面を参照して、本発明の実施の形態について説明する。

図１は、本発明が適用される情報処理装置の機能的構成例を表している。

図１に示されるように、この情報処理装置は、履歴処理部１乃至関連性情報更新部９から構成されている。ただし、センサ７と操作部８は、情報処理装置の一構成要素と捉えてもよいし、情報処理装置に接続されている外部機器と捉えてもよい。

また、履歴処理部１乃至関連性情報更新部９のそれぞれの形態は特に限定されない。特に、履歴処理部１、付帯コンテンツメタ情報取得部５、ユーザ使用付帯コンテンツ決定部６、および関連性情報更新部９のそれぞれは、ソフトウエアで構成してもよいし、ハードウエアで構成してもよいし、或いは、ソフトウエアとハードウエアの組合せで構成してもよい。

ところで、このような機能的構成を有する図１の情報処理装置等、本発明が適用される情報処理装置は、ユーザが使用（試聴または経験等）するコンテンツをデータとして（コンテンツデータの形態で）取り扱う。

なお、コンテンツとは、本明細書においては、一般的にコンテンツと称されている、テレビジョン放送番組、映画、写真、楽曲等（動画像、静止画像、若しくは音声、または、それらの組合せ等）の他、さらに、文書、商品（物品含）、会話等のユーザが使用可能なソフトウエアまたはハードウエアの全てを指す広い概念である。ただし、コンテンツが物品（ハードウエア）の場合、例えば、その物品が動画像や静止画像等に射影されてデータ化されたものが、コンテンツデータとして適用される。

また、ユーザが２種類以上のコンテンツデータを同時に使用した、使用中である、或いはこれから使用する場合、それらのうちのユーザにとって主目的のコンテンツデータを、以下、メインコンテンツと称する。一方、いわゆるBGM(Back Ground Music)等、ユーザにとって付帯的なコンテンツデータを、付帯コンテンツと称する。

メインコンテンツであるのか、或いは付帯コンテンツであるのかの区別方法は、特に限定されないが、ここでは、例えば、説明の簡略上、予め決定されているとする。また、メインコンテンツと付帯コンテンツとのそれぞれは、上述した本明細書で言うコンテンツのいずれとも成り得るが、図１の情報処理装置の説明においては、例えば、メインコンテンツとして、ユーザが取り扱う文章（データ）が採用され、付帯コンテンツとして、いわゆるBGMとして使用される音楽（音声データ）、または、いわゆるBGVとして使用される、静止画像（画像のデータ）若しくは、映像（動画像のデータと、必要に応じて、その動画像に対応する音声のデータ）が採用されるとする。

また、ユーザが既に使用したメインコンテンツを、ユーザ使用済みメインコンテンツと、ユーザが使用中である、またはこれから使用する予定であるメインコンテンツを、ユーザ使用メインコンテンツと称する。同様に、ユーザが既に使用した付帯コンテンツを、ユーザ使用済み付帯コンテンツと、ユーザが使用中である、またはこれから使用する予定である付帯コンテンツを、ユーザ使用付帯コンテンツと称する。

以下、図１の情報処理装置の機能的構成例の詳細について説明していく。

履歴処理部１は、ユーザ使用済みメインコンテンツと、ユーザ使用済み付帯コンテンツ（または、後述する付帯コンテンツメタ情報取得部５から供給される、そのユーザ使用済み付帯コンテンツのメタ情報）との組が供給される毎、そのユーザ使用済みメインコンテンツを出力していた時点とその近傍の時間帯において、図１の情報処理装置を利用していたユーザに関連する1以上の情報からなる履歴情報を生成する。

例えば、履歴処理部１は、そのユーザ使用済みメインコンテンツと、そのユーザ使用済み付帯コンテンツとの関連性を示す関連性情報（例えば、後述する図５の関連性情報CI1,CI2，CI3等）を生成し、関連性情報記憶部２に記憶させる。なお、関連性情報の詳細（具体例等）については後述する。

また、詳細については後述するが、履歴処理部１は、センサ７または操作部８から入力された情報から、入力されたユーザ使用済みメインコンテンツをユーザが使用した際のコンテクストを示す情報（以下、コンテクスト情報と称する）を取得し、そのコンテクスト情報を、入力されたユーザ使用済みメインコンテンツに対応する関連性情報に含めることができる。

なお、本明細書においては、コンテクスト(context)とは、ユーザの内的状態および外的状態の全てを指す。ユーザの内的状態とは、ユーザの体調、または、情動（気分や心理状態）等を指す。また、ユーザの外的状態とは、ユーザの空間的または時間的な配置位置（時間的な配置位置とは、例えば、現在時刻を指す）の他、ユーザの周囲の空間方向若しくは時間方向に分布する（または、いずれの方向にも分布する）所定の状態も指す。

このように、関連性情報記憶部２には、履歴情報として、履歴処理部１により生成された１以上の関連性情報が記憶される。

付帯コンテンツ記憶部３は、関連性情報記憶部２に記憶されている1以上の関連性情報のそれぞれに対応するユーザ使用済み付帯コンテンツを記憶する他、外部から、ユーザが未使用の付帯コンテンツ（以下、ユーザ未使用付帯コンテンツと称する）が供給されてきた場合、そのユーザ未使用付帯コンテンツを記憶する。

付帯コンテンツメタ情報記憶部４は、付帯コンテンツメタ情報取得部５により取得された付帯コンテンツのメタ情報（以下、メインコンテンツのメタ情報と区別するための、付帯コンテンツメタ情報と称する）を記憶する。

即ち、付帯コンテンツメタ情報取得部５は、ユーザ使用済み付帯コンテンツまたはユーザ未使用付帯コンテンツが入力される毎に、その付帯コンテンツメタ情報を取得して、付帯コンテンツメタ情報記憶部４に記憶させるとともに、必要に応じて、履歴処理部１にも供給する。

なお、本明細書においては、付帯コンテンツメタ情報とは次のような情報を指す。即ち、例えば、ここでは、付帯コンテンツとして、BGMとして利用される音楽や、BGVとして利用される映像（動画像と音声）のデータが採用されている。従って、本明細書において、付帯コンテンツメタ情報とは、番組メタ情報等の一般的なメタ情報を単に指すのではなく、例えば、音楽や画像の特徴（たとえば、テンポやリズム、楽器や歌詞など）を分析し、その分析結果等が単語化された情報（数値も単語化された情報の１つとして捉える）等も指す広い概念である。換言すると、付帯コンテンツの１以上の特徴を示す情報であれば、その情報の全てが付帯コンテンツメタ情報になり得る。

従って、付帯コンテンツメタ情報は、付帯コンテンツ自身から取得されることもあるし、電子番組ガイド（ＥＰＧ：Electronic Program Guide）などの番組情報等、付帯コンテンツとは別に配信される（供給される）情報から取得されることもある。

ユーザ使用付帯コンテンツ決定部６は、付帯コンテンツ記憶部３に記憶されている１以上の付帯コンテンツの中から、入力されたユーザ使用メインコンテンツに適する（ユーザの過去の履歴に照らし合わせてユーザにとって適すると判断される）ユーザ使用付帯コンテンツを決定し、それを付帯コンテンツ記憶部３から読み出して外部に出力する。このとき、即ち、ユーザにとって適すると判断されるユーザ使用付帯コンテンツを決定するとき、ユーザ使用付帯コンテンツ決定部６は、関連性情報記憶部２に記憶された関連性情報、センサ７や操作部８からの情報に基づくコンテクスト情報、若しくは、付帯コンテンツメタ情報記憶部４に記憶された付帯コンテンツメタ情報、または、それらの1以上の組み合わせを参照する。ただし、ユーザ使用付帯コンテンツの決定処理の詳細については後述する。

なお、図１中点線で示されるように、このようにしてユーザ使用付帯コンテンツ決定部６からの出力が終了したユーザ使用付帯コンテンツは、必要に応じてさらに、ユーザ使用済み付帯コンテンツとしても利用されることになる。同様に、対応するユーザ使用メインコンテンツも、その出力後に、必要に応じてさらに、ユーザ使用済みメインコンテンツとして利用されることになる。

関連性情報更新部９は、付帯コンテンツメタ情報記憶部４に記憶されている付帯コンテンツメタ情報や、操作部８のユーザ操作（履歴）に基づいて、関連性情報記憶部２に記憶された1以上の関連性情報のうちの少なくとも一部の内容を更新する。

次に、図２を参照して、履歴処理部１の詳細な機能的構成例について説明する。即ち、図２は、履歴処理部１の詳細な機能的構成例を表している。

メインコンテンツメタ情報取得部１１は、ユーザ使用済みメインコンテンツが入力される毎に、そのメタ情報（以下、付帯コンテンツメタ情報と区別するための、メインコンテンツメタ情報と称する）を取得して、関連性情報生成部１２に供給する。

なお、本明細書においては、メインコンテンツメタ情報とは次のような情報を指す。即ち、例えば、ここでは、メインコンテンツとして、上述したように、一般的なコンテンツではなく、ユーザの私的な文書（例えば、後述するメール文書）が採用されている。従って、本明細書において、コンテンツメタ情報とは、番組メタデータ等の一般的なメタ情報を単に指すのではなく、本明細書で言うコンテンツ（幅広い概念のコンテンツ）自身若しくはその一部分、またはそのコンテンツの属性等が単語化された情報（数値も単語化された情報の１つとして捉える）等も指す広い概念である。換言すると、メインコンテンツの１以上の特徴を示す情報であれば、その情報の全てがメインコンテンツメタ情報になり得る。

従って、メインコンテンツメタ情報は、メインコンテンツ自身から取得されることもあるし、電子番組ガイド（ＥＰＧ：Electronic Program Guide）などの番組情報等、メインコンテンツとは別に配信される（供給される）情報から取得されることもある。

例えば、いまの場合、即ち、メインコンテンツが文章（データ）である場合、メインコンテンツメタ情報取得部１１は、入力されたユーザ使用済みメインコンテンツとしての文書を所定の単位（例えば、１文章や１段落等）で区分し、区分された文書毎にその内容を解析して、単語のデータ（後述する図５に示される“旅行”や“日程”等の単語のデータ）に分解し、関連性情報生成部１２に供給する。

関連性情報生成部１２は、メインコンテンツメタ情報取得部１１より供給される、ユーザ使用済みメインコンテンツに対応するメインコンテンツメタ情報と、外部から供給されたユーザ使用済み付帯コンテンツ（供給されたメインコンテンツメタ情報に対応するユーザ使用済みメインコンテンツとともに同時に使用された付帯コンテンツ）とを関連付ける関連性情報（例えば、後述する図５の関連性情報CI1,CI2，CI3等）を生成し、関連性情報記憶部２に記憶させる。なお、関連性情報の詳細（具体例等）については後述する。

また、関連性情報生成部１２には、ユーザ使用済み付帯コンテンツが供給される代わりに（或いは、供給されるとともに）、付帯コンテンツメタ情報取得部５から、そのユーザ使用済み付帯コンテンツに対応する付帯コンテンツメタ情報が供給されることもある。この場合、関連性情報生成部１２は、ユーザ使用済みメインコンテンツに対応するメインコンテンツメタ情報と、ユーザ使用済み付帯コンテンツに対応する付帯コンテンツメタ情報とに基づいて、関連性情報を生成する。

さらに、関連性情報生成部１２は、コンテクスト情報取得部１３から供給されるコンテクスト情報を、関連性情報に含めることができる。

即ち、コンテクスト情報取得部１３は、センサ７または操作部８から入力される情報（必要に応じて変換した情報）から、履歴処理部1全体で現在処理対象としているユーザ使用済みメインコンテンツ（およびユーザ使用済み付帯コンテンツ）を使用した時点のユーザのコンテクストを示すコンテクスト情報を取得して、関連性情報生成部１２に供給する。

詳細には、例えば、操作部８は、キーボード、マウス、その他入力インタフェースで構成され、ユーザは操作部８を操作することで、様々なコンテクストを示す信号をコンテクスト情報取得部１３に入力させる。

すると、コンテクスト情報取得部１３は、操作部８から入力された信号を解析して単語化し、この単語のデータをコンテクスト情報として、関連性情報生成部１２に供給する。

また、例えば、センサ７は、ユーザの外的コンテクストを検出するセンサや、その内的コンテクストを検出するセンサとして構成される。即ち、センサ７とは、１つのコンテクストを検出するセンサのみならず、２以上のコンテクストを検出可能な１つのセンサや、２以上のセンサ（検出可能なコンテクストの種類や数は限定されない）からなるセンサ群も指す。具体的には、例えば、外的コンテクストを検出するセンサとしては、ユーザの現在位置情報を検出するGPS(Global Positioning System)、現在時刻を計時（検出）する時計、または、ユーザの周辺に位置する人や物体を検出する無線通信機器等が挙げられる。また、例えば、内的コンテクストを検出するセンサとしては、脈拍、呼吸数、発汗、または、瞳孔の開き等を検出するセンサが挙げられる。

コンテクスト情報取得部１３は、このようなセンサ７から入力された情報が数値データであった場合、その数値データ（数値を所定の規則で更新する場合もある）をコンテクスト情報として、関連性情報生成部１２に供給する。また、コンテクスト情報取得部１３は、センサ７から入力された情報が数値データ以外の情報であった場合、その情報を解析して単語化し（数値も単語に含まれる）、この単語のデータをコンテクスト情報として、関連性情報生成部１２に供給する。

次に、図３を参照して、ユーザ使用付帯コンテンツ決定部６の詳細な機能的構成例について説明する。即ち、図３は、ユーザ使用付帯コンテンツ決定部６の詳細な機能的構成例を表している。

メインコンテンツメタ情報取得部２１は、図２のメインコンテンツメタ情報取得部１１と基本的に同様の構成と機能を有している。ただし、メインコンテンツメタ情報取得部２１には、ユーザが現在使用中の或いはこれから使用する予定のメインコンテンツ、即ち、ユーザ使用メインコンテンツが入力される。従って、メインコンテンツメタ情報取得部２１は、ユーザ使用メインコンテンツに対応するメインコンテンツメタ情報を取得して、マッチング部２２に供給する。

マッチング部２２は、メインコンテンツメタ情報取得部２１から供給された、ユーザ使用メインコンテンツに対応するメインコンテンツメタ情報を取得する。具体的には、例えば、マッチング部２２は、ユーザ使用メインコンテンツに対応する１以上のメインコンテンツメタ情報を成分として生成されるベクトル、即ち、後述する特徴ベクトルを取得する。より具体的には、例えば、マッチング部２２は、後述する図５の特徴ベクトルCCV1,CCV2，CCV3等を取得する。

また、マッチング部２２は、関連性情報記憶部２に記憶されている１以上の関連性情報のそれぞれに含まれるメインコンテンツメタ情報を取得する。具体的には、例えば、マッチング部２２は、関連性情報記憶部２に記憶されている１以上の関連性情報のそれぞれについて、対応する関連性情報に含まれている１以上のメインコンテンツメタ情報を成分とするベクトル、即ち、後述する特徴ベクトルを生成する。より具体的には、例えば、マッチング部２２は、後述する図７の特徴ベクトルCCVnを生成する。

そして、マッチング部２２は、ユーザ使用メインコンテンツに対応するメインコンテンツメタ情報（例えば、特徴ベクトル）と、関連性情報記憶部２に記憶されている１以上の関連性情報のそれぞれに含まれるメインコンテンツメタ情報のそれぞれ（例えば、対応する特徴ベクトルのそれぞれ）との類似度を演算し、その演算結果を付帯コンテンツ推薦部２３に供給する。

なお、詳細については後述するが、関連性情報にコンテクスト情報が含まれている場合（後述する図１０に示される特徴ベクトルCCV4,CCV5,CCV6等のように、その成分にコンテクスト情報が含まれている場合）、マッチング部２２は、その類似度の演算において、コンテクスト情報取得部２７から供給されるコンテクスト情報（ユーザ使用メインコンテンツを使用する際のユーザのコンテクストを示す情報）を利用することができる。

付帯コンテンツ推薦部２３は、供給された演算結果（類似度）に基づいて、ユーザ使用メインコンテンツと類似するユーザ使用済みメインコンテンツを特定し、特定されたユーザ使用済みメインコンテンツに対応する関連性情報を関連性情報記憶部２から取得する。そして、付帯コンテンツ推薦部２３は、取得された関連性情報に含まれる付帯コンテンツを示す情報を、ユーザ使用メインコンテンツとともにユーザが使用するのに適した推薦すべき付帯コンテンツ（以下、推薦付帯コンテンツと称する）を示す情報として出力する。

この場合、取得された関連性情報に含まれる推薦付帯コンテンツを示す情報として、付帯コンテンツメタ情報が含まれているとき、付帯コンテンツ推薦部２３は、その関連性情報に含まれる付帯コンテンツメタ情報と同一のまたは類似する付帯コンテンツメタ情報を付帯コンテンツメタ情報記憶部４から取得することができる。そして、付帯コンテンツ推薦部２３は、付帯コンテンツメタ情報記憶部４から取得された付帯コンテンツメタ情報により特定される付帯コンテンツもまた、推薦付帯コンテンツとして決定（追加）し、決定（追加）された推薦付帯コンテンツを示す情報（例えば、その名称等）を新たに生成し、出力することもできる。

さらに、後述するように、マッチング部２２は、メインコンテンツメタ情報取得部２１から供給された、ユーザ使用メインコンテンツに対応するメインコンテンツメタ情報と同一のまたは類似する付帯コンテンツメタ情報を付帯コンテンツメタ情報記憶部４から取得し、付帯コンテンツ推薦部２３に供給することもできる。

この場合、付帯コンテンツ推薦部２３は、供給された付帯コンテンツメタ情報により特定される付帯コンテンツを、推薦付帯コンテンツとして決定し、決定された推薦付帯コンテンツを示す情報（例えば、その名称等）を生成し、出力することもできる。

スイッチ２４は、操作部８の操作に基づいて、その状態がオン状態とオフ状態とのうちのいずれか一方に切り替えられる。

スイッチ２４がオフ状態の場合、付帯コンテンツ推薦部２３から出力された、推薦付帯コンテンツを示す情報は、付帯コンテンツ情報呈示部２６に供給され、付帯コンテンツ出力部２５への供給は禁止される。

これに対して、スイッチ２４がオン状態の場合、付帯コンテンツ推薦部２３から出力された、推薦付帯コンテンツを示す情報は、付帯コンテンツ情報呈示部２６と付帯コンテンツ出力部２５とのそれぞれに供給される。

付帯コンテンツ出力部２５は、付帯コンテンツ推薦部２３からスイッチ２４を介して供給された推薦付帯コンテンツを示す情報により特定される付帯コンテンツを、付帯コンテンツ記憶部３から読み出し、ユーザ使用付帯コンテンツとして外部に出力する。即ち、例えば、付帯コンテンツが音楽である場合、付帯コンテンツ出力部２５は、音声データをアナログの音声信号に復号する復号装置と、そのアナログの音声信号を外部に出力するスピーカやヘッドフォン端子として構成することができる。

付帯コンテンツ出力部２５はまた、操作部８に対するユーザ操作があった場合、そのユーザ操作に従って、出力する付帯コンテンツ（ユーザ使用付帯コンテンツ）を推薦付帯コンテンツとは別の付帯コンテンツに変更したり、付帯コンテンツの出力を禁止したりすることができる。

付帯コンテンツ情報呈示部２６は、付帯コンテンツ推薦部２３から供給された推薦付帯コンテンツを示す情報をユーザに呈示することができる。例えば、推薦コンテンツが複数存在する場合（付帯コンテンツ推薦部２３から複数の情報が供給された場合）、複数の推薦コンテンツのそれぞれを特定するための情報（付帯コンテンツ推薦部２３から供給された情報そのものであってもよいし、それに基づいて新たに生成された情報でもよい）をリスト化して画像としてユーザに呈示する（表示する）ことができる。この場合、付帯コンテンツ情報呈示部２６は、例えば、表示装置と、それを制御する表示制御装置とから構成することができる。

コンテクスト情報取得部２７は、図２のコンテクスト情報取得部１３と基本的に同様の構成と機能を有している。ただし、コンテクスト情報取得部２７は、ユーザが現在使用中の或いはこれから使用する予定のメインコンテンツ、即ち、ユーザ使用メインコンテンツをユーザが使用する際のコンテクストを示すコンテクスト情報を、センサ７または操作部８からの入力情報から取得し、マッチング部２２に供給する。

以上、図１乃至図３を参照して、本発明が適用される情報処理装置の機能的構成の一例について説明した。このような機能的構成を有する情報処理装置は、大別して、次のような第１の処理と第２の処理とを個別に実行することができる。第１の処理とは、ユーザがコンテンツを使用した際の履歴情報を生成する処理である。また、第２の処理とは、第１の処理の繰り返しにより蓄積された複数の履歴情報に基づいて、現在使用中（または使用予定の）ユーザ使用メインコンテンツとともにユーザにより使用される付帯コンテンツ（ユーザ使用付帯コンテンツ）を推薦（決定）する処理である。

以下、図４、図６、図１５、および図１６のフローチャートを参照して、図１乃至図３の情報処理装置が実行する第１の処理と第２の処理（なお、以下、第２の処理を、ユーザ使用付帯コンテンツ決定処理と称する）の各種例について説明する。

はじめに、図４のフローチャートを参照して、履歴情報として関連性情報を生成する第１の処理（以下、関連性情報生成処理と称する）の一例について説明する。

図４のステップＳ１において、図２の履歴処理部１のメインコンテンツメタ情報取得部１１は、ユーザ使用済みメインコンテンツのメタ情報（メインコンテンツメタ情報）を取得し、関連性情報生成部１２に供給する。

ステップＳ２において、関連性情報生成部１２は、取得されたメタ情報に基づいて、ユーザ使用済みメインコンテンツの特徴を示す特徴情報を生成する。

即ち、上述したように、ステップＳ１の処理取得されたメインコンテンツメタ情報自身が、ユーザ使用済みメインコンテンツの1以上の特徴を既に示しているので、結局、ステップＳ２の処理では、１以上のメインコンテンツメタ情報のそれぞれが示す特徴から決定される、総体的な特徴を示す特徴情報が生成されることになる。なお、このような特徴情報の具体例については後述する。

ステップＳ３において、関連性情報生成部１２は、ステップＳ２の処理で生成されたユーザ使用済みメインコンテンツの特徴情報と、そのユーザ使用済みメインコンテンツと共に使用されていたユーザ使用済み付帯コンテンツ（図中、関連性情報生成部１２に供給されるユーザ使用済み付帯コンテンツ）とを関連付けた情報（例えば、それらの２つの情報を共に含有する情報を、そのユーザ使用済みメインコンテンツとそのユーザ使用済み付帯コンテンツとの関連性を示す関連性情報として生成する。

ステップＳ４において、関連性情報生成部１２は、ステップＳ３の処理で生成された関連性情報を関連性情報記憶部２に記憶させる。

これにより、図４の関連性情報生成処理は終了となる。

以上の関連性情報生成処理は、ユーザがメインコンテンツを付帯コンテンツと共に使用する毎に実行され、その時点のユーザの履歴情報として、対応する関連性情報が１つずつ生成されて、関連性情報記憶部２に蓄積されていく。

例えば、ユーザが３つのメール文章(以下、Doc1,Doc2,Doc3と称する)を受信し、それらのDoc1,Doc2,Doc3をメインコンテンツとして、図示せぬメール文章閲覧ソフト等を利用して個別に閲覧（使用）したとする。また、ユーザがDoc1を閲覧（使用）したときには、付帯コンテンツ（BGM）として、所定の音楽（以下、SongA(Fork)と称する）を聴き（使用し）、ユーザがDOC3を閲覧（使用）したときには、付帯コンテンツ（BGM）として、別の音楽（以下、SongC(Samba)と称する）を聴いたとする。一方、ユーザがDOC2を閲覧（使用）したときには何も聴かなかった（付帯コンテンツを使用しなかった）とする。

この場合、Doc1,Doc2,Doc3のそれぞれに対して、上述した関連性情報生成処理が個別に実行され、その結果として、３つの関連性情報が生成されて、関連性情報記憶部２に記憶されることになる。

詳細には、例えば、いま、Doc1,Doc2,Doc3のそれぞれに対するステップＳ１の処理で、メインコンテンツメタ情報取得部１１が、DOC1乃至DOC3のそれぞれを取得し、次の（Ｉ）乃至（III）に示される１以上の単語（名詞）のそれぞれに分解し、これらの（Ｉ）乃至（III）の単語群のそれぞれを、Doc1,Doc2,Doc3のそれぞれに対するメインコンテンツメタ情報として取得し、関連性情報生成部１２に供給したとする。

（Ｉ）旅行、日程、旅行、地図、温泉、お土産
（II）会議、日程、連絡、会議、メモ、参加
（III）音楽、サンバ、ブラジル

この場合、Doc1,Doc2,Doc3のそれぞれに対するステップＳ２の処理で、関連性情報生成部１２は、Doc1,Doc2,Doc3のそれぞれに対する特徴情報として、例えば、図５に示されるような特徴ベクトルCCV1,CCV2,CCV3を生成することになる。

ここで、特徴ベクトルについて説明する。

特徴ベクトルとは、１つのコンテンツ（いまの場合、DOC1，Doc2，Doc3といったユーザ使用済みメインコンテンツ）に対する１以上のメタ情報（いまの場合、DOC1，Doc2，Doc3のそれぞれのメインコンテンツメタ情報であって、具体的には、上述した（Ｉ）乃至（III）に含まれる各単語）を成分（次元）として有するベクトルを指す。

従って、特徴ベクトルの形態は特に限定されないが、ここでは、次元数（成分数）が決められており、また、各次元のそれぞれに対応する情報（いまの場合、メインコンテンツメタ情報）も決められているとする。即ち、ここでは、特徴ベクトルの次元数（成分数）は固定され、各成分のそれぞれが示す情報（いまの場合、メインコンテンツメタ情報であって、図５の“旅行”，“日程”等の単語）とその順番も固定されているとする（なお、以下、このようなベクトル形態を標準形と称する）。

具体的には、ここでの標準形の特徴ベクトルは、例えば、図５に示されるように、（旅行，日程，行き先，地図，連絡，温泉，会議，メモ，参加，お土産，音楽，サンバ，ブラジル）といったベクトルになる。

ただし、この標準形の特徴ベクトルの各成分のそれぞれには、対応するメインコンテンツメタ情報を示す単語が、例えば、頻度やtf法などの重み付け手法を利用して重み付けされた値のそれぞれが代入される。

具体的には、例えば、上述した（Ｉ）で示されるDoc1のメインコンテンツメタ情報によると、Doc1には、「旅行」は２回、「日程」は１回、地図は１回、お土産は１回、それぞれ登場していることになる。このような場合、頻度により重み付けが行われると、上述した標準形の特徴ベクトルのうちの、「旅行」、「日程」、「地図」、「お土産」のそれぞれに対応する成分には、「２」、「１」、「１」、「１」のそれぞれが代入される。また、「行き先」等、標準形の特徴ベクトルの所定の成分に入れるべき重み値が存在しない場合、その成分には「０」が代入される。従って、Doc1に対する特徴ベクトルCCV1として、図５に示されるような(2,1,0,1,0,1,0,0,0,1,0,0,0)が生成される。

同様に、Doc2に対する特徴ベクトルCCV2として、図５に示されるような(0,1,0,0,1,0,2,1,1,0,0,0,0)が生成される。また、Doc3に対する特徴ベクトルCCV3として、同図に示されるような(0,0,0,0,0,0,0,0,0,0,1,1,1)が生成される。

なお、頻度を利用して重み付けを行う場合、重み値として、例えば、ここでは頻度そのものを適用しているが、その他、その頻度を正規化した値等、所定の規則で頻度を変換した値を適用することも勿論可能である。

次に、Doc1,Doc2,Doc3のそれぞれに対するステップＳ３の処理で、このようにして生成された特徴ベクトルCCV1,CCV2,CCV3のそれぞれと、対応するユーザ使用済み付帯コンテンツ(BGM)を示す情報のそれぞれとを関連付ける関連性情報として、例えば、図５に示されるような、関連性情報CI1,CI2,CI3のそれぞれが生成され、ステップＳ４の処理で、関連性情報記憶部２に記憶される。

即ち、例えば、図５の例では、ユーザ使用済み付帯コンテンツ(BGM)を示す情報として、その名称が採用されている。この場合、Doc1に対する関連性情報CI1は、特徴ベクトルCCV1と、「SongA(Fork)」という情報とが関連付けられた情報（特徴ベクトルCCV1と、「SongA(Fork)」という情報とを含む情報）となる。同様に、Doc3に対する関連性情報CI3は、特徴ベクトルCCV3と、「SongC(Samba)」という情報とが関連付けられた情報（特徴ベクトルCCV3と、「SongC(Samba)」という情報とを含む情報）となる。

なお、上述したように、ここでは、Doc2に対応する付帯コンテンツ（BGM）は存在しない。即ち、ここでは、Doc2の使用時には、ユーザは、BGMを聴いていなかった。このような場合、例えば、図５に示されるように、ユーザ使用済み付帯コンテンツ(BGM)を示す情報（付帯コンテンツを使用していないことを示す情報）として、「None」のような特別な情報を採用することができる。これにより、Doc2に対する関連性情報CI2も、特徴ベクトルCCV2と、「None」という情報とが関連付けられた情報（特徴ベクトルCCV2と、「None」という情報とを含む情報）といった形態で、即ち、関連性情報CI1やCI3と同様の形態で生成することが可能になる。

次に、図６のフローチャートを参照して、上述した図４の関連性情報生成処理（第１の処理）に対応する、ユーザ使用付帯コンテンツ決定処理（第２の処理）について説明する。

以上のような図４の関連性情報生成処理の繰り返しにより生成された1以上の関連性情報が関連性情報記憶部２に蓄積された後、ユーザが新たなメインコンテンツを使用中にまたはこれから使用する（そのことが予定されているとき）に、例えば、図６のユーザ使用付帯コンテンツ決定処理が実行される。

即ち、１つのユーザ使用メインコンテンツが図３のユーザ使用付帯コンテンツ決定部６に供給される毎に、例えば、図６のユーザ使用付帯コンテンツ決定処理が実行される。

ステップＳ２１において、メインコンテンツメタ情報取得部２１は、ユーザ使用メインコンテンツのメタ情報（メインコンテンツメタ情報）を取得し、マッチング部２２に供給する。

ステップＳ２２において、マッチング部２２は、取得されたメタ情報（メインコンテンツメタ情報）に基づいて、ユーザ使用メインコンテンツの特徴を示す特徴情報を生成する。

なお、このステップＳ２１とＳ２２の処理のそれぞれは、上述した図４のステップＳ１とＳ２の処理のそれぞれと、処理対象の違い、即ち、その処理対象が、ステップＳ２１とＳ２２の処理では、ユーザ使用メインコンテンツであるのに対して、ステップＳ１とＳ２の処理では、ユーザ使用済みメインコンテンツであることの違いはあるが、その他については、基本的に同様の処理である。従って、ステップＳ２１とＳ２２の処理の詳細な説明については省略する。

ステップＳ２３において、マッチング部２２は、ステップＳ２２で生成されたユーザ使用メインコンテンツの特徴情報と、関連性情報記憶部２に予め保持（記憶）されている1以上の関連性情報に含まれる特徴情報のそれぞれとの類似度を演算し、その演算結果を付帯コンテンツ推薦部２３に供給する。

なお、類似度の演算方法は特に限定されないが、特徴情報として標準形の特徴ベクトルが使用される場合、ここでは、説明の簡略上、例えば、次の通りとされる。

即ち、マッチング部２２が、ユーザ使用メインコンテンツの標準形の特徴ベクトルと、関連性情報記憶部２に予め保持（記憶）されている1以上の関連性情報に含まれる標準形の特徴ベクトルのそれぞれとの内積を演算し、各演算結果（内積値）のそれぞれを類似度として付帯コンテンツ推薦部２３に供給する、といった演算方法とされる。この場合、内積値が大きいほど類似度が高いことになる。

ステップＳ２４において、付帯コンテンツ推薦部２３は、類似度が所定の閾値以上の特徴情報、例えば、ここでは、内積値が閾値以上となる特徴ベクトルを含有する関連性情報を関連性情報記憶部２から取得する。そして、付帯コンテンツ推薦部２３は、取得された関連性情報に対応する付帯コンテンツ、即ち、その関連性情報の中に、類似度が閾値以上の特徴情報と共に含まれている情報により特定される付帯コンテンツを、ユーザ使用付帯コンテンツの候補、即ち、推薦付帯コンテンツとして決定する。

これにより、図４の関連性情報生成処理に対応する、図６のユーザ使用付帯コンテンツ決定処理は終了となる。

以下、上述した図４の関連性情報生成処理の具体例、即ち、上述したDoc1,Doc2,Doc3のそれぞれに対する関連性情報生成処理に対応させて、図６のユーザ使用付帯コンテンツ決定処理の具体例について説明する。

例えば、いま、ユーザが、新たなメール文章（以下、TargetDocと称する）を受信し、そのTargetDocをメインコンテンツとして、図示せぬメール文章閲覧ソフト等を利用して閲覧（使用）中またはこれから閲覧（使用）しようとしているとする。即ち、ユーザ使用メインコンテンツがTargetDocであるとする。

また、ステップＳ２１の処理で、メインコンテンツメタ情報取得部２１が、TargetDocのそれぞれを取得し、例えば、次の（IV）に示される１以上の単語（名詞）のそれぞれに分解し、その（IV）の単語群を、TargetDocに対するメインコンテンツメタ情報として取得し、マッチング部２２に供給したとする。

（IV）旅行、お土産、地図、連絡、温泉、お土産

この場合、ステップＳ２２の処理で、マッチング処理部２２は、図７に示されるような特徴ベクトルCCVn(1,0,0,1,1,1,0,0,0,2,0,0,0)を生成する。

このように、このステップＳ２２の処理で生成される特徴ベクトルCCVnの形態は、図５で上述した標準形の特徴ベクトルの形態、即ち、上述した図５に示される関連性情報CI1,CI2,CI3と同様の形態となる。

いまの場合、関連性情報記憶部２には、上述した図５に示される関連性情報CI1,CI2,CI3が保持されている（記憶されている）ので、ステップＳ２２の処理で、マッチング処理部２２は、図７の特徴ベクトルCCVnと、関連性情報CI1に含まれる特徴ベクトルCCV1，関連性情報CI2に含まれる特徴ベクトルCCV2，関連性情報CI3に含まれる特徴ベクトルCCV3のそれぞれとの内積を演算する（類似度を演算する）。

具体的には、例えば、マッチング部２２は、図８に示されるような、特徴ベクトルCCV1，CCV2，CCV3を列成分とする（その順番で並べた）行列Ａを生成し、また、図７の特徴ベクトルCCVnを行列Ｂとして、行列Ａの転置行列A^Tに対して、行列Ｂを右から掛ける（A^T×Ｂの行列演算を行う）ことで、図９に示されるような、各成分が、内積値（類似度）を示す行列を得る。

従って、マッチング部２２は、この図９の行列を付帯コンテンツ推薦部２３に供給する。

すると、ステップＳ２４の処理で、付帯コンテンツ推薦部２３は、供給された図９の行列の各成分を解析することで、ユーザ使用付帯コンテンツの候補（推薦付帯コンテンツ）を決定する。

例えば、閾値が５とされると、閾値５以上の類似度を有する（類似度６を有する）DOC1に対応する関連性情報CI1が関連性情報記憶部２から取得されることになる。この場合、図５に示されるように、関連性情報CI1に含まれる「SongA（Fork）」という名称のBGM（付帯コンテンツ）が、ユーザ使用付帯コンテンツの候補（推薦付帯コンテンツ）として決定される。

従って、上述したように、例えば、スイッチ２４がオン状態の場合、ユーザが、ユーザ使用コンテンツであるTargetDocを閲覧（使用）している最中またはその前後に、「SongA（Fork）」という名称のBGM（付帯コンテンツ）が、付帯コンテンツ記憶部３から取得されて、付帯コンテンツ出力部２５からユーザ使用付帯コンテンツとして出力される。

また、例えば、スイッチ２４がたとえオフ状態であっても、ユーザが、ユーザ使用コンテンツであるTargetDocを閲覧（使用）している最中またはその前後に、「SongA（Fork）」という名称が付帯コンテンツ情報呈示部２６によりユーザに呈示される。

なお、スイッチ２４がオン状態の場合、即ち、「SongA（Fork）」という名称のBGM（付帯コンテンツ）の出力中の場合でも、このような呈示は可能である。即ち、「SongA（Fork）」という名称のBGM（付帯コンテンツ）の出力と、その名称の呈示との併用は可能である。

また、上述した例では、メインコンテンツは、メール文章（その文章のデータ）とされたが、上述したように、これに限定されず、例えば、インターネット等のネットワーク上のサーバから提供されるホームページ（いわゆるWebページ）などでもよい。

さらにまた、関連性情報は、図４の関連性情報生成処理により生成された情報の他、図示はしないが、ユーザが操作部８を操作して直接入力した（関連性情報記憶部２に記憶させた）情報でもよい。

また、図６のユーザ使用付帯コンテンツ決定処理を次のような処理の一部の処理として利用することもできる。

即ち、例えば、ユーザが図１の情報処理装置を利用してテキスト操作を行うとき（例えば、情報処理装置をワードプロッセサとして機能させるとき）、現在操作しているテキストをユーザ使用メインコンテンツとして、情報処理装置に図６のユーザ使用付帯コンテンツ決定処理を実行させることができる。

この場合、情報処理装置は、対象のテキストを分析し、そのテキストの特徴情報を生成し、生成された特徴情報と類似度の高い特徴情報を持つ過去の文書を選択することができる。そして、情報処理装置は、その文書に関連付けられた音楽、または画像を自動再生することができる。

これにより、例えば、過去に、ユーザがその情報処理装置を利用して、自分自身のホームページを作成していたときに、タイトルＡというロック音楽を聴いていた場合、即ち、タイトルＡというロック音楽を付帯コンテンツとして使用していた場合、情報処理装置は、次回のホームページの作成作業時にも同じ曲、または類似の曲を自動再生することができる。

なお、付帯コンテンツの自動再生とは、操作部８による再生開始のユーザ操作（指令）を介在することなく、情報処理装置が自分自身の判断で、所定の付帯コンテンツを再生することを指す。

また、情報処理装置は、自動再生せず或いは自動再生させながら、1以上の候補曲（推薦付帯コンテンツの名称）を類似度の高い順などでリスト化して、ユーザに呈示することができる。これにより、ユーザは、そのリストの中から所望の楽曲をユーザ使用付帯コンテンツとして選択する（或いは変更する）ことができる。

ところで、上述したように、関連性情報の中に、ユーザのコンテクスト情報を含めることができる。従って、情報処理装置は次のような処理を実行することができる。

即ち、情報処理装置は、ユーザ使用済みコンテンツとユーザ使用済み付帯コンテンツとを使用している時点のユーザのコンテクスト情報を取得する。例えば、上述したように、情報処理装置は、センサ７からの検出情報や、操作部８の操作情報（ユーザが意図的に操作部８を選択、ゆする、振る、または、撫でるなどの行動も含む）に対して結び付けておいたコンテクスト情報を取得する。

そして、情報処理装置は、そのコンテクスト情報、文書（ユーザ使用済みメインコンテンツ）の特徴（単語の重み）、および、ユーザ使用済み付帯コンテンツを示す情報のそれぞれを関連付ける関連性情報を生成し、関連性情報記憶部２に蓄えておく。

これにより、情報処理装置は、上述した図６のユーザ使用付帯コンテンツ決定処理と同様な処理（詳細は図示せず）を実行することで、例えば、ユーザ操作がない場合（即ち、ユーザ使用メインコンテンツが存在しない場合）にも、何かしらのユーザの感情等（ユーザのその時点のコンテクスト情報）が取得されれば、その感情等のコンテクスト情報と、関連性情報記憶部２に蓄えられた関連性情報に含まれるコンテクスト情報との類似度を求め、類似度が高いコンテクスト情報と共に関連性情報に含まれる情報で特定される付帯コンテンツを再生することが可能になる。

また、情報処理装置は、ユーザ操作がある場合（即ち、ユーザ使用メインコンテンツが存在する場合）、例えば、図１０乃至図１４に示されるように、ユーザが置かれているコンテクストも加味した、付帯コンテンツの推薦を行うことが可能になる。

即ち、例えば、いま、図１０に示されるような、関連性情報CI4，CI5，CI6のそれぞれが、関連性情報記憶部２に蓄えられているとする。

この場合、関連性情報CI4に含まれる特徴ベクトルCCV4、関連性情報CI5に含まれる特徴ベクトルCCV5、および、関連性情報CI6に含まれる特徴ベクトルCCV6は、図１０に示されるように、（メーラ，エディタ，ブラウザ，閲覧，編集，作図，旅行，行き先，温泉，会議，予定，連絡，地図，音楽，タンゴ，民族，会社，自宅，外出）といった、図５とは異なる標準形のベクトルで構成されていることになる。

この標準形のベクトルのうちの、「メーラ」、「エディタ」、および、「ブラウザ」に対応する成分は、ユーザ使用済みメインコンテンツ（図１０の例では、DOC4,DOC5,DOC6）をユーザが使用（ここでは、後述する閲覧、編集、または作図）するときに利用される（その可能性がある）アプリケーションソフトウエア（以下、アプリと称する）を示す成分である。ユーザが実際に利用したアプリに対応する成分には、「１」が代入され、ユーザが利用しなかったアプリに対応する成分には「０」が代入される。

例えば、特徴ベクトルCCV4においては、「メーラ」、「エディタ」、および、「ブラウザ」のそれぞれに対応する成分には、「１」、「０」、および「０」のそれぞれが代入されているので、ユーザがDoc4をメインコンテンツとして使用したときには、「メーラ」と称されるアプリを利用したことになる。

同様に、特徴ベクトルCCV6においては、「メーラ」、「エディタ」、および、「ブラウザ」のそれぞれに対応する成分には、「１」、「０」、および「０」のそれぞれが代入されているので、ユーザがDoc6をメインコンテンツとして使用したときには、「メーラ」と称されるアプリを利用したことになる。

一方、特徴ベクトルCCV5においては、「メーラ」、「エディタ」、および、「ブラウザ」のそれぞれに対応する成分には、「０」、「１」、および「０」のそれぞれが代入されているので、ユーザがDoc5をメインコンテンツとして使用したときには、「エディタ」と称されるアプリを利用したことになる。

この標準形のベクトルのうちの、「閲覧」、「編集」、および、「作図」に対応する成分は、ユーザ使用済みメインコンテンツ（図１０の例では、DOC4,DOC5,DOC6）のユーザの使用方法、即ち、操作部８の操作方法（となる可能性のある候補であって、以下、単に操作と称する）を示す成分である。ユーザが実際に行った操作に対応する成分には、「１」が代入され、ユーザが行わなかった操作に対応する成分には「０」が代入される。

例えば、特徴ベクトルCCV4においては、「閲覧」、「編集」、および、「作図」のそれぞれに対応する成分には、「１」、「０」、および「０」のそれぞれが代入されているので、ユーザがDoc4をメインコンテンツとして、「閲覧」した（それに対応する操作を行った）ことになる。

また、特徴ベクトルCCV5においては、「閲覧」、「編集」、および、「作図」のそれぞれに対応する成分には、「０」、「１」、および「１」のそれぞれが代入されているので、ユーザがDoc5をメインコンテンツとして、「編集」および「作図」した（それに対応する操作を行った）ことになる。

さらにまた、特徴ベクトルCCV6においては、「閲覧」、「編集」、および、「作図」のそれぞれに対応する成分には、「０」、「１」、および「０」のそれぞれが代入されているので、ユーザがDoc6をメインコンテンツとして、「編集」した（それに対応する操作を行った）ことになる。

この標準形のベクトルのうちの、「旅行」，「行き先」，「温泉」，「会議」，「予定」，「連絡」，「地図」，「音楽」，「タンゴ」，「民族」のそれぞれに対応する成分には、上述した図５に示される特徴ベクトルCCV1等と同様に、対応するユーザ使用済みメインコンテンツのメインコンテンツメタ情報の頻度による重み値が代入されている。

この標準形のベクトルのうちの、「会社」、「自宅」、および、「外出」に対応する成分は、ユーザ使用済みメインコンテンツ（図１０の例では、DOC4,DOC5,DOC6）をユーザが使用したときの場所（となる可能性のある候補であって、以下、単に場所と称する）を示す成分である。ユーザ使用済みメインコンテンツを使用したときに、ユーザが実際に存在した場所に対応する成分には、「１」が代入され、ユーザが存在しなかった場所に対応する成分には「０」が代入される。

例えば、特徴ベクトルCCV4においては、「会社」、「自宅」、および、「外出」のそれぞれに対応する成分には、「０」、「１」、および「０」のそれぞれが代入されているので、Doc4をメインコンテンツとして使用したときには、ユーザは「自宅」に対応する場所に存在していたことになる。

同様に、特徴ベクトルCCV6においては、「会社」、「自宅」、および、「外出」のそれぞれに対応する成分には、「０」、「１」、および「０」のそれぞれが代入されているので、Doc6をメインコンテンツとして使用したときには、ユーザは「自宅」に対応する場所に存在していたことになる。

一方、特徴ベクトルCCV5においては、「会社」、「自宅」、および、「外出」のそれぞれに対応する成分には、「１」、「０」、および「０」のそれぞれが代入されているので、Doc5をメインコンテンツとして使用したときには、ユーザは「会社」に対応する場所に存在していたことになる。

ところで、上述した「アプリ」と「操作」のそれぞれは、実際には、コンテクスト情報と明確に区別して利用されることもあるが、本明細書においては、説明の簡略上、「場所」と同様のコンテクスト情報のひとつであるとして説明していく。即ち、本明細書では、図１の履歴処理部１（図２のコンテクスト情報取得部１３）と図１のユーザ使用付帯コンテンツ決定部６（図３のコンテクスト情報取得部２７）とは、上述した「アプリ」、「操作」、および「場所」を、コンテクスト情報の一つとして取得するとして、以下、説明していく。

この場合、Doc4,Doc5,Doc6のそれぞれに対応する図４のステップＳ２の処理で、図２の関連性情報生成部１２は、ユーザ使用済みメインコンテンツのメタ情報の他に、コンテクスト情報取得部１３から、「アプリ」、「操作」、および「場所」を取得することで、コンテクスト情報も成分に含めた特徴ベクトルを生成することができる。具体的には、例えば、上述したように、関連性情報生成部１２は、図１０に示されるような標準形の特徴ベクトルCCV4，CCV5,CCV6のそれぞれを生成することができる。

なお、図１０の例では、特徴ベクトルCCV4は、(1,0,0,1,0,0,1,2,1,0,2,0,2,0,0,0,0,1,0)とされている。特徴ベクトルCCV5は、(0,1,0,0,1,1,0,1,0,1,2,0,1,0,0,0,1,0,0)とされている。特徴ベクトルCCV6は、(1,0,0,0,1,0,0,0,0,0,0,0,0,1,1,0,0,1,0)とされている。

そして、例えば、Doc4,Doc5,Doc6のそれぞれに対応するステップＳ３の処理で、図１０に示されるように、関連性情報生成部１２は、特徴ベクトルCCV4と「SongD」という情報（即ち、ユーザ使用済み付帯コンテンツが「SongD」という名称の音楽であることを示す情報）とを含む関連性情報CI4、特徴ベクトルCCV5と「None」という情報（即ち、ユーザ使用済み付帯コンテンツが使用（視聴）されなかったことを示す情報）とを含む関連性情報CI5、および、特徴ベクトルCCV6と「SongE」という情報（即ち、ユーザ使用済み付帯コンテンツが「SongE」という名称の音楽であることを示す情報）とを含む関連性情報CI6を、それぞれ生成することができる。

その後、例えば、ユーザが、新たなメインコンテンツ（以下、TargetDoc‘と称する）使用中またはこれから使用しようとしているとする。即ち、ユーザ使用メインコンテンツがTargetDoc'であるとする。

この場合、図６のステップＳ２２の処理で、マッチング処理部２２は、ユーザ使用メインコンテンツのメタ情報の他に、コンテクスト情報取得部１３から、ユーザ使用メインコンテンツをユーザが使用する際の「アプリ」、「操作」、および「場所」を取得することで、コンテクスト情報に対応する成分も含む図１０で上述した標準形の特徴ベクトル、例えば、図１１に示されるようなCCVn‘(0,1,0,0,1,1,1,1,0,0,1,0,0,0,1,0,0)を生成する。

いまの場合、関連性情報記憶部２には、上述した図１０に示される関連性情報CI4,CI5,CI6が保持されている（記憶されている）ので、ステップＳ２３の処理で、マッチング処理部２２は、図１１の特徴ベクトルCCVn‘と、関連性情報CI4に含まれる特徴ベクトルCCV4，関連性情報CI5に含まれる特徴ベクトルCCV5，関連性情報CI6に含まれる特徴ベクトルCCV6のそれぞれとの内積を演算する（類似度を演算する）。

具体的には、例えば、マッチング部２２は、図１２に示されるような、特徴ベクトルCCV4，CCV5，CCV6を列成分とする（その順番で並べた）行列Ｃを生成し、また、図１１の特徴ベクトルCCVn‘を行列Ｄとして、行列Ｃの転置行列Ｃ^Tに対して、行列Ｄを右から掛ける（Ｃ^T×Ｄの行列演算を行う）ことで、図１３に示されるような、各成分が、内積値（類似度）を示す行列を得る。

ところで、マッチング部２２は、上述した特徴ベクトルCCV1（図５）と特徴ベクトルCCVn（図７）と同様に、コンテクスト情報（「アプリ」、「操作」、および「場所」）の成分を含めずに、図１１の特徴ベクトルCCVn‘と、関連性情報CI4に含まれる特徴ベクトルCCV4，関連性情報CI5に含まれる特徴ベクトルCCV5，関連性情報CI6に含まれる特徴ベクトルCCV6のそれぞれとの内積を演算する（類似度を演算する）こともできる。

この場合、図示はしないが、例えば、マッチング部２２は、図１２の行列Ｃのうちの、「アプリ」、「操作」、および「場所」に対応する成分の全てを「０」に変更した行列Ｃ‘
を生成し、また、図１１の行列Ｄのうちの、「アプリ」、「操作」、および「場所」に対応する成分の全てを「０」に変更した行列Ｄ‘を生成し、行列Ｃ’の転置行列Ｃ‘^Tに対して、行列Ｄ’を右から掛ける（Ｃ‘^T×Ｄ’の行列演算を行う）ことで、図１４に示されるような、各成分が、内積値（類似度）を示す行列を得る。

次に、ステップＳ２４の処理で、図３の付帯コンテンツ推薦部２３は、推薦付帯コンテンツ（ユーザ使用付帯コンテンツの候補）を決定することになる。

例えば、ここでは、Doc4乃至Doc6のうちの、類似度が最も高いメインコンテンツに関連付けられた付帯コンテンツが、推薦付帯コンテンツ（ユーザ使用付帯コンテンツの候補）として決定されるとする。

この場合、コンテクスト情報（「アプリ」、「操作」、および「場所」）を考慮しないとき（図１４のとき）には、ユーザ使用メインコンテンツ(TargetDoc')は、Doc4と最も類似度が高いと判定され、その結果、Doc4と関連付けられている「SongＤ」という名称の付帯コンテンツ（図１０の関連性情報CI4参照）が、推薦付帯コンテンツ（ユーザ使用付帯コンテンツの候補）として決定される。

従って、上述したように、例えば、スイッチ２４がオン状態の場合、ユーザが、ユーザ使用コンテンツであるTargetDoc‘を使用（図１１によると、編集と作図）している最中またはそのン前後に、「SongD」という名称のBGM（付帯コンテンツ）が、付帯コンテンツ出力部２５によりユーザ使用付帯コンテンツとして出力されることになる。

これに対して、コンテクスト情報（「アプリ」、「操作」、および「場所」）を考慮したとき（図１３のとき）には、ユーザ使用メインコンテンツ(TargetDoc')は、Doc5と最も類似度が高いと判定され、その結果、推薦付帯コンテンツは存在しない（Doc5と関連付けられている情報は「None」であるため）と、決定される。

従って、ユーザが、ユーザ使用コンテンツであるTargetDoc‘を使用（図１１によると、編集と作図）している最中またはその前後に、付帯コンテンツ出力部２５からの付帯コンテンツの出力が禁止されることになる。

このように、情報処理装置は、ユーザの関連性情報（履歴情報）CI4,CI5,CI6のうちの、コンテクスト情報（「アプリ」、「操作」、および「場所」）の履歴を考慮することで、このユーザは、「会社で、エディタを使って編集と作図をしている」というコンテクストにおかれている（図１０のDoc5参照）ときには、集中して仕事をしたいので（そのように推定されるので）、BGM（付帯コンテンツ）を再生しない、というユーザの傾向を得ることができる。

その結果、情報処理装置は、このようにして得られたユーザの傾向を反映した推薦結果を呈示することが可能になる。即ち、いまの場合、ユーザ使用コンテンツであるTargetDoc‘を使用する際のユーザのコンテクストも、「会社で、エディタを使って編集と作図をしている」であるので、このようにして得られた傾向が反映された結果として、推薦付帯コンテンツ（ユーザ使用付帯コンテンツの候補）は存在しない（出力しない）、と決定されるのである。

次に、図１５のフローチャートを参照して、履歴情報として付帯コンテンツの特徴を示す情報（以下、付帯コンテンツ特徴情報と称する）を生成する第１の処理（以下、付帯コンテンツ特徴情報生成処理と称する）について説明する。即ち、図１５は、図４の例の第１の処理（関連性情報生成処理）とは異なる他の第１の処理（付帯コンテンツ特徴情報生成処理）の一例を説明するフローチャートである。

図１５のステップＳ３１において、図１の付帯コンテンツメタ情報取得部５は、ユーザ使用済み付帯コンテンツのメタ情報（付帯コンテンツメタ情報）を取得する。

ステップＳ３２において、付帯コンテンツメタ情報取得部５は、取得されたメタ情報に基づいて、ユーザ使用済み付帯コンテンツの特徴を示す付帯コンテンツ特徴情報を生成する。

付帯コンテンツ特徴情報の形態については特に限定されないが、例えば、メインコンテンツの特徴情報と同様に、図示はしないが、所定の標準形の特徴ベクトルなどを利用することができる。

ステップＳ３３において、付帯コンテンツメタ情報取得部５は、ステップＳ３２の処理で生成された付帯コンテンツ特徴情報を付帯コンテンツメタ情報記憶部４に記憶させる。

これにより、図１５の付帯コンテンツ特徴情報生成処理は終了となる。

以上の図１５の付帯コンテンツ特徴情報生成処理は、ユーザが付帯コンテンツを使用する毎に実行され、ユーザの履歴情報として、付帯コンテンツ特徴情報が付帯コンテンツメタ情報記憶部４に蓄積されていく。

次に、図１６のフローチャートを参照して、上述した図１５の付帯コンテンツ特徴情報生成処理（図４の関連性情報生成処理とは異なる他の第１の処理）に対応する、ユーザ使用付帯コンテンツ決定処理の一例（図６のユーザ使用付帯コンテンツ決定処理とは異なる例の第２の処理）について説明する。

以上のような図１５の付帯コンテンツ特徴情報生成処理の繰り返しにより生成された1以上の付帯コンテンツ特徴情報が付帯コンテンツメタ情報記憶部４に蓄積された後、ユーザが新たなメインコンテンツを使用中にまたはその前後に、ユーザ使用付帯コンテンツ決定処理が実行される。

ステップＳ４１において、図３のユーザ使用付帯コンテンツ決定部６のメインコンテンツメタ情報取得部２１は、ユーザ使用メインコンテンツのメタ情報（メインコンテンツメタ情報）を取得し、マッチング部２２に供給する。

ステップＳ４２において、マッチング部２２は、取得されたメタ情報に基づいて、ユーザ使用メインコンテンツの特徴を示す特徴情報を生成する。

なお、このステップＳ４１とＳ４２の処理のそれぞれは、上述した図６のステップＳ２１とＳ２２の処理のそれぞれと、基本的に同様の処理である。ただし、ユーザ使用メインコンテンツの特徴を示す特徴状態の形態は、付帯コンテンツ特徴情報に対応する形態とする必要がある。

ステップＳ４３において、マッチング部２２は、（ステップＳ４２で生成された）ユーザ使用メインコンテンツの特徴情報と、付帯コンテンツメタ情報記憶部４に予め保持（記憶）されている1以上の付帯コンテンツ特徴情報のそれぞれとの類似度を演算し、その演算結果を付帯コンテンツ推薦部２３に供給する。

なお、類似度の演算方法は特に限定されず、例えば、ユーザ使用メインコンテンツの特徴情報に含まれる幾つかの単語と同一または関連する単語が、ある付帯コンテンツ特徴情報に含まれている場合、類似度が高いと演算する方法を適用することもできる。

ただし、ここでは、特徴情報として標準形の特徴ベクトルが使用される場合、例えば、上述した他の例と同様に、マッチング部２２が、ユーザ使用メインコンテンツの標準形の特徴ベクトルと、付帯コンテンツメタ情報記憶部４に予め保持（記憶）されている1以上の付帯コンテンツ特徴情報に含まれる標準形の特徴ベクトルのそれぞれとの内積を演算し、各演算結果（内積値）のそれぞれを類似度として付帯コンテンツ推薦部２３に供給する、といった演算方法が適用されるとする。この場合、上述したように、内積値が大きいほど類似度が高いことになる。

ステップＳ４４において、付帯コンテンツ推薦部２３は、類似度が所定の閾値以上の付帯コンテンツ特徴情報、即ち、例えば、ここでは、内積値が閾値以上となる特徴ベクトルを付帯コンテンツメタ情報記憶部４から取得し、取得された付帯コンテンツ特徴情報に対応する（それで特定される）付帯コンテンツを、ユーザ使用付帯コンテンツの候補、即ち、推薦付帯コンテンツとして決定する。

これにより、図１５の付帯コンテンツ特徴情報生成処理に対応する、図１６のユーザ使用付帯コンテンツ決定処理は終了となる。

以下、図１５の付帯コンテンツ特徴情報生成処理と、図１６のユーザ使用付帯コンテンツ決定処理の具体例について説明する。

例えば、情報処理装置は、図１５の付帯コンテンツ特徴情報生成処理を実行することで、付帯コンテンツ特徴情報、即ち、付帯コンテンツメタ情報群として、様々な音楽のメタデータ（音楽のタイトルやアーティスト，アルバム名など）を保存したデータベース(以下、音楽ＤＢと称する)を作成しておくことができる。

なお、このデータベースは、ここでは、ユーザが所有する情報処理装置が所有する付帯コンテンツメタ情報記憶部４として構成されることになるが、この構成例に限定されず、様々な構成とすることができる。例えば、このデータベースは、ユーザが他人と共有しているネットワーク上の音楽サーバ等に存在するデータベースとして構成することもできる。

その後、例えば、ユーザが、ユーザ使用メインコンテンツとして、ユーザ自身が管理しているホームページを使用（例えば、更新に伴うテキスト入力作業等）するとする。

この場合、情報処理装置は、図１６のユーザ使用付帯コンテンツ決定処理として、例えば、次のような処理を実行することができる。

即ち、ステップＳ４１とＳ４２の処理で、情報処理装置は、ユーザが作業しているホームページの単語を分析し（特徴情報を生成し）、ステップＳ４３とＳ４４の処理で、特徴語となっている単語と同一のまたは類似する単語からなるメタデータを音楽DBから検索し、検索されたメタデータで特定される音楽を、推薦付帯コンテンツ（ユーザ使用付帯コンテンツの候補）として決定することができる。

なお、上述したように、情報処理装置は、特徴語として、単純に頻度が多い単語を選択してもよいし、ホームページや文書ファイルのタイトル部分に登場する単語を選択してもよいし、tfidf法で重み計算してもよい。

以上、図４乃至図１６を参照して、ユーザの履歴情報を生成する第１の処理（関連性情報生成処理と付帯コンテンツメタ情報生成処理）と、ユーザ使用付帯コンテンツ決定処理（第２の処理）の各種の例について説明した。

ところで、上述したように、図１の関連性情報更新部９は、関連性情報記憶部２に記憶されている関連性情報の内容を更新することができる。

そこで、以下、図１７と図１８のフローチャートのそれぞれを参照して、関連性情報更新部９が実行する処理（以下、関連性情報更新処理と称する）の２つの例について説明する。

図１７のフローチャートは、新たな音楽や画像（データ）が付帯コンテンツ候補として入手された場合、即ち、情報処理装置にユーザ未使用付帯コンテンツが入力された場合、既に生成されている（関連性情報記憶部２に記憶されている）関連性情報に対して、その新たなユーザ未使用付帯コンテンツを示す情報を含めることを目的とした関連性情報更新処理を表している。

なお、この図１７の関連性情報更新処理は、その新たなユーザ未使用付帯コンテンツに対応する付帯コンテンツ特徴情報が付帯コンテンツメタ情報記憶部４に既に記憶されていることが前提とされる。なお、情報処理装置が、新たなユーザ未使用付帯コンテンツに対して、上述した図１５の付帯コンテンツ特徴情報生成処理を実行することで、その新たなユーザ未使用付帯コンテンツに対応する付帯コンテンツ特徴情報を生成し、付帯コンテンツメタ情報記憶部４に記憶させることができる。

以上の前提のもと、図１７のステップＳ５１において、関連性情報更新部９は、付帯コンテンツメタ情報記憶部４に記憶されている、新たなユーザ未使用付帯コンテンツに対応する付帯コンテンツ特徴情報と、予め保持されている１以上の付帯コンテンツ特徴情報（付帯コンテンツメタ情報記憶部４に記憶されている他の付帯コンテンツ特徴情報）のそれぞれとの類似度を演算する。

ステップＳ５２において、関連性情報更新部９は、関連性情報記憶部２に予め保持（記憶）されている１以上の関連性情報の中から、ステップＳ５１の処理で類似度が最も高いと演算された付帯コンテンツ特徴情報に対応する付帯コンテンツを示す情報を含有する関連性情報を検索し、取得する。

ステップＳ５３において、関連性情報更新部９は、ステップＳ５２の処理で取得された関連性情報に含まれるメインコンテンツの特徴情報と、新たなユーザ未使用付帯コンテンツを示す情報（その名称等）とを関連付けた情報（それらの２つの情報を共に含有する情報）を、そのメインコンテンツとその新たなユーザ未使用付帯コンテンツとの関連性を示す関連性情報として新たに生成し（ステップＳ５２の処理で取得された関連性情報を更新し）、関連性情報記憶部２に記憶させる。

これにより、図１７の関連性情報更新処理は終了となる。

なお、ステップＳ５３の処理で新たに生成された関連性情報が関連性情報記憶部２に記憶される場合、ステップＳ５２の処理で取得された元の関連性情報が削除されて、その削除領域に上書きされてもよいし（元の関連性情報の内容が更新されるという形態を取ってもよいし）、元の関連性情報はそのまま残して、新たな領域に記憶されてもよい（新たな関連性情報が追加されるという形態を取ってもよい）。

このような図１７の関連性情報更新処理が実行された後に、例えば、上述した図６のユーザ使用付帯コンテンツ決定処理が実行されれば、新たな音楽や画像が入手されても、そのメタデータを利用して、過去に結び付けられた音楽や画像と同様、ユーザの現在の操作（ユーザ使用コンテンツ）に結び付けて、その新たな音楽や画像を自動再生することが可能になる。また、新たな音楽や画像にメタデータが付与されていなくても、音楽や画像の特徴（たとえば、テンポやリズム、楽器や歌詞など）を分析し、それを付帯コンテンツメタ情報として付帯コンテンツメタ情報記憶部４に記憶させることで、ユーザの現在の操作（ユーザ使用コンテンツ）に容易に結び付けることが可能になる。

以上のような図１７の関連性情報更新処理に対して、図１８の関連性情報更新処理は、ユーザの操作部８の操作とユーザ使用付帯コンテンツとの関係（履歴）を学習することで、関連性情報を更新する処理の例である。

即ち、図１８のステップＳ６１において、関連性情報更新部９は、ユーザ使用付帯コンテンツがユーザ使用付帯コンテンツ決定部６から出力されたか否かを判定する。

ユーザ使用付帯コンテンツが出力されていない場合、即ち、ステップＳ６１において、ユーザ使用付帯コンテンツが出力されていないと判定された場合、処理はステップＳ６１に戻され、ユーザ使用付帯コンテンツが出力されたか否かが再度判定される。即ち、関連性情報更新部９は、ユーザ使用付帯コンテンツ決定部６からの外部出力の状況を常時監視している。

ユーザ使用付帯コンテンツが出力されると、関連性情報更新部９は、ステップＳ６１において、ユーザ使用付帯コンテンツが出力されたと判定し、ステップＳ６２において、ユーザ使用付帯コンテンツの出力中にユーザ操作が施されたか否かを判定する。

即ち、上述したように、付帯コンテンツ推薦部２３により推薦された推薦付帯コンテンツがユーザ使用付帯コンテンツとして出力されているとき、ユーザは、その推薦付帯コンテンツが気に入らなければ、操作部８を操作して、その出力を停止させたり（スイッチ２４をオフ状態に切り替えたり）、ユーザ使用付帯コンテンツを別の付帯コンテンツに変更する（別の付帯コンテンツの名称等を付帯コンテンツ出力部２５に指令する）ことができる。このようなユーザの操作部８の操作が施された場合（その操作信号が関連性情報更新部９にも入力された場合）、ステップＳ６２において、ユーザ使用付帯コンテンツの出力中にユーザ操作が施されたと判定されて、処理はステップＳ６３に進められる。

そして、ステップＳ６３において、関連性情報更新部９は、関連性情報記憶部２に予め保持されている１以上の関連性情報のうちの、推薦付帯コンテンツを示す情報を含有する関連性情報を更新する。

例えば、推薦付帯コンテンツの出力を停止させるユーザ操作がなされた場合、その関連性情報に含まれていた推薦付帯コンテンツを示す情報が、上述した「None」に更新される。

また、例えば、ユーザ使用付帯コンテンツ（出力される付帯コンテンツ）が、推薦付帯コンテンツから、「SongK」という名称の付帯コンテンツに変更させるユーザ操作がなされた場合、その関連性情報に含まれていた推薦付帯コンテンツを示す情報（例えば、推薦付帯コンテンツの名称が上述したSongAである場合、その「SongA」）が、「Songk」に更新される。

これにより、図１８の関連性情報更新処理は終了となる。

これに対して、ステップＳ６２において、ユーザ使用付帯コンテンツの出力中にユーザ操作が施されなかった場合、即ち、ユーザ使用付帯コンテンツとして推薦付帯コンテンツがそのまま出力された場合、ユーザにとって推薦付帯コンテンツは満足のいくものであった（満足のいく推薦であった）とみなして、ステップＳ６３の処理は実行されずに、図１８の関連性情報更新処理は終了となる。

このような図１８の関連性情報更新処理を図１の情報処理装置が実行することで、次のような２つの効果を奏することが可能になる。

即ち、１つ目の効果とは、自動再生された若しくはその名称等がリスト化された音楽や画像（推薦付帯コンテンツ）が不適切だとユーザが判断した場合、違う音楽や画像を選択する操作を実行すると、その操作に基づく学習が行われて、新しい関連付けが行われ、次回以降に反映される効果である。

また、２つ目の効果とは、ＢＧＭやＢＧＶといったユーザ使用付帯コンテンツの出力がないユーザの操作時に、ユーザ使用メインコンテンツとされていた文書等の特徴を学習し、付帯コンテンツを自動再生しない方がよいメインコンテンツ（文書等）の特徴も同様に自動判断することができる効果である。

以上、本発明が適用される情報処理装置の一例として、図１の情報処理装置について説明したが、勿論、本発明は図１の情報処理装置以外にも様々な形態を取ることが可能である。

具体的には、例えば、本発明は、図１９に示されるような、コンテンツを送受信する装置（以下、コンテンツ送受信装置と称する）にも適用することも可能である。即ち、図１９は、本発明が適用される情報処理装置の他の形態の一例を示している。或いは、図１９は、本発明が適用される情報処理システムの構成例を示しているとも言える。

図１９に示されるように、この情報処理システムは、２以上の任意の台数のコンテンツ送受信装置（図１９の例では、２台のコンテンツ送受信装置１０１Ａとコンテンツ送受信装置１０１Ｂ）のそれぞれが、ネットワーク１０２を介して相互に接続されて構成されている。

ネットワーク１０２は、例えば、有線により構築されているLAN（Local Area Network）（以下、有線LANと称する）、無線により構築されているLAN（以下、無線LANと称する）、または、インターネットなどの広域ネットワークである。

なお、この情報処理システムにおいて、ネットワーク１０２は必須な構成要素ではなく、コンテンツ送受信装置１０１Ａとコンテンツ送受信装置１０１Ｂとは、ネットワーク１０２を介さずに直接通信を行ってもよい。

図２０は、図１９の情報処理システムを構成するコンテンツ送受信装置１０１Ａとコンテンツ送受信装置１０１Ｂとの機能的構成例を示している。

なお、以下、コンテンツ送受信装置１０１Ａとコンテンツ送受信装置１０１Ｂとを個々に区別する必要が無い場合、単にコンテンツ送受信装置１０１と称する。

図２０に示されるように、コンテンツ送受信装置１０１は、メインコンテンツ生成部１１１乃至スイッチ１２２から構成されている。ただし、センサ１１４と操作部１１３は、コンテンツ送受信装置１０１の一構成要素と捉えてもよいし、コンテンツ送受信装置１０１に接続されている外部機器と捉えてもよい。

また、メインコンテンツ生成部１１１乃至スイッチ１２２のそれぞれの形態は特に限定されず、構成可能であれば、ソフトウエアで構成してもよいし、ハードウエアで構成してもよいし、或いは、ソフトウエアとハードウエアの組合せで構成してもよい。

メインコンテンツ生成部１１１は、操作部１１３のユーザ操作に基づいて、メインコンテンツを生成し、多重化部（加算部）１２１に供給する。

上述したように、ここで言うコンテンツの全てがメインコンテンツとなり得るが、ここでは、以下、説明の簡略上、メインコンテンツは、メール文章（テキストデータ）であるとして説明する。

また、ここで言うコンテンツの全てが付帯コンテンツとなり得るが、ここでは、以下、説明の簡略上、付帯コンテンツは、音楽（音声データ）であるとして説明する。

メインコンテンツ送信部１１２は、メインコンテンツ生成部１１１から多重化部１２１を介して供給されるメインコンテンツを、ネットワーク１０２を介して他のコンテンツ送受信装置に送信する。即ち、図１９のコンテンツ送受信装置１０１Ａのメインコンテンツ送信部１１２は、メインコンテンツをネットワーク１０２を介してコンテンツ送受信装置１０１Ｂに送信する。一方、図１９のコンテンツ送受信装置１０１Ｂのメインコンテンツ送信部１１２は、メインコンテンツをネットワーク１０２を介してコンテンツ送受信装置１０１Ａに送信する。

操作部１１３乃至コンテクスト情報取得部１１５のそれぞれは、上述した図３の操作部８、センサ７、およびコンテクスト情報取得部２７のそれぞれと、基本的に同様の機能と構成を有しているので、それらの説明については省略する。

履歴処理部１１６は、メール文章（ユーザ使用済みメインコンテンツ）を出力していた時点とその近傍の時間帯において、図２０のコンテンツ送受信装置１０１を利用していたユーザに関連する１以上の情報からなる履歴情報を生成し、関連性記憶部１１７に記憶させる。

例えば、ここでは、履歴処理部１１６は、メインコンテンツ生成部１１１から供給されるメール文章（ユーザ使用済みメインコンテンツ）と、コンテクスト情報取得部１１５から供給される、そのユーザ使用済みメインコンテンツを使用していた（メール文章の入力操作を行っていた）時点のユーザのコンテクストを示すコンテクスト情報との組が供給される毎、履歴情報として、そのユーザ使用済みメインコンテンツと、それを使用した時点のユーザのコンテクストとの関連性を示す関連性情報を生成し、関連性情報記憶部１１７に記憶させる。

また、例えば、ここでは、履歴処理部１１６は、メインコンテンツ受信部１１８から供給されるメール文章（ユーザ使用済みメインコンテンツ）と、コンテクスト情報取得部１１５から供給される、そのユーザ使用済みメインコンテンツを使用していた（閲覧していた）時点のユーザのコンテクストを示すコンテクスト情報との組が供給される毎、履歴情報として、そのユーザ使用済みメインコンテンツと、それを使用した時点のユーザのコンテクストとの関連性を示す関連性情報を生成し、関連性情報記憶部１１７に記憶させる。

さらに、例えば、ここでは、履歴処理部１１６は、図２０では図示が省略されているが、ユーザ使用付帯コンテンツ決定部１１９から供給される音楽（ユーザ使用済み付帯コンテンツ）と、コンテクスト情報取得部１１５から供給される、その付帯コンテンツを使用していた（聴いていた）時点のユーザのコンテクストを示すコンテクスト情報との組が供給される毎、履歴情報として、そのユーザ使用済み付帯コンテンツと、それを使用した時点のユーザのコンテクストとの関連性を示す関連性情報を生成し、関連性情報記憶部１１７に記憶させる。

さらにまた、例えば、ここでは、履歴処理部１１６は、ユーザ使用済みメインコンテンツが使用中またはその前後に、ユーザ使用済み付帯コンテンツも使用されていた場合、即ち、ユーザがメール文章（メインコンテンツ）を書いたり読んだりする操作を行いながらその操作の前後に、音楽（付帯コンテンツ）をBGMとして聴いていた場合、上述した図１の履歴処理部１と同様に、履歴情報として、ユーザ使用済みメインコンテンツとユーザ使用済み付帯コンテンツとの関連性を示す関連性情報を生成し、関連性情報記憶部１１７に記憶させる。

或いは、例えば、履歴処理部１１６は、履歴情報として、ユーザ使用済みメインコンテンツ、ユーザ使用済み付帯コンテンツ、および、それらを使用した時点のユーザのコンテクストといった３者のそれぞれの関連性をまとめて示す関連性情報を生成し、関連性情報記憶部１１７に記憶させることもできる。

このように、関連性情報記憶部１１７には、履歴情報として、ユーザ使用済みメインコンテンツ、ユーザ使用済み付帯コンテンツ、および、ユーザのコンテクストといた３者のうちの任意の２者の関連性を示す関連性情報、または、それらの３者のそれぞれの関連性を示す関連性情報が適宜記憶されることになる。

メインコンテンツ受信部１１８は、他のコンテンツ送受信装置から送信されてきたメインコンテンツをネットワーク１０２を介して受信し、スイッチ１２２がオン状態の場合、ユーザ使用メインコンテンツとして出力する。即ち、図１９のコンテンツ送受信装置１０１Ａのメインコンテンツ受信部１１８は、コンテンツ送受信装置１０１Ｂから送信されてきたメインコンテンツをネットワーク１０２を介して受信する。一方、図１９のコンテンツ送受信装置１０１Ｂのメインコンテンツ受信部１１８は、コンテンツ送受信装置１０１Ａから送信されてきたメインコンテンツをネットワーク１０２を介して受信する。

ユーザ使用付帯コンテンツ決定部１１９は、関連性情報記憶部１１７に記憶されている関連性情報を参照して、現在のユーザに適する（ユーザの過去の履歴に照らし合わせてユーザにとって適すると判断される）ユーザ使用付帯コンテンツを決定し、それを付帯コンテンツ記憶部１２０から読み出して、ユーザ使用付帯コンテンツとして外部に出力する。

即ち、付帯コンテンツ記憶部１２０には、１以上の付帯コンテンツが記憶される。

多重化部１２１は、メインコンテンツ生成部１１１から供給されたメインコンテンツ（メール文章）に対して、コンテクスト情報取得部１１５から供給されるコンテクスト情報を多重化して、メインコンテンツ送信部１１２に供給する。即ち、メインコンテンツ送信部１１２は、コンテクスト情報が付加されたメインコンテンツを送信することができる。

スイッチ１２２は、操作部１１３からの指令に基づいて、その状態をオン状態とオフ状態とのうちのいずれか一方に切り替える。即ち、例えば、ここでは、ユーザが、メインコンテンツ受信部１１８に受信されたメール文章（メインコンテンツ）を閲覧したい場合、操作部１１３を操作して、スイッチ１２２をオン状態にさせる。すると、メインコンテンツ受信部１１８は、メール文章を出力する（例えば、表示装置に画像として表示させる）。

このようなコンテンツ送受信装置１０１のうちの、履歴処理部１１６とユーザ使用付帯コンテンツ決定部１１９のそれぞれの詳細な機能的構成例が、図２１と図２２のそれぞれに示されている。そこで、以下、図２１と図２２のそれぞれを参照して、履歴処理部１１６とユーザ使用付帯コンテンツ決定部１１９のそれぞれの詳細な機能的構成例について、その順番で説明する。

図２１に示されるように、履歴処理部１１６は、メインコンテンツメタ情報取得部１３１と関連性情報生成部１３２から構成される。

メインコンテンツメタ情報取得部１３１は、メインコンテンツ生成部１１１またはメインコンテンツ受信部１１８から、ユーザ使用済みメインコンテンツが入力される毎に、そのメインコンテンツメタ情報を取得して、関連性情報生成部１３２に供給する。

関連性情報生成部１３２には、このようにしてメインコンテンツメタ情報取得部１３１からメインコンテンツメタ情報が供給される他、コンテクスト情報取得部１１５からのコンテクスト情報やユーザ使用済み付帯コンテンツが供給される。

従って、関連性情報生成部１３２は、メインコンテンツメタ情報、コンテクスト情報、および、ユーザ使用済み付帯コンテンツを適宜参照しながら、ユーザ使用済みメインコンテンツ、ユーザ使用済み付帯コンテンツ、および、ユーザのコンテクストといた３者のうちの任意の２者の関連性を示す関連性情報、または、それらの３者のそれぞれの関連性をまとめて示す関連性情報を適宜生成し、関連性情報記憶部１１７に記憶する。

次に、図２２を参照して、ユーザ使用付帯コンテンツ決定部１１９の詳細な機能的構成例を説明する。

なお、図２２に示されるユーザ使用付帯コンテンツ決定部１１９は、メール文章（メインコンテンツ）が受信されてユーザに呈示されるときまたはその前後の時点において、ユーザのその時点のコンテクストに適した音楽（付帯コンテンツ）を決定し、出力する（自動再生する）ことを目的としているが、他の目的の場合、その機能的構成は若干異なることになる（例えば、後述する図３２参照）。従って、他の機能的構成を有するユーザ使用付帯コンテンツ決定部１１９と区別する必要がある場合、図２２の機能的構成を有するユーザ使用付帯コンテンツ決定部１１９を、特に、ユーザ使用付帯コンテンツ決定部１１９Ａと称する。

ユーザ使用付帯コンテンツ決定部１１９Ａは、メインコンテンツメタ情報取得部１４１乃至対応付帯コンテンツ取得部１４４から構成される。

メインコンテンツメタ情報取得部１４１は、図２１のメインコンテンツメタ情報取得部１３１と基本的に同様の構成と機能を有している。ただし、例えば、ここでは、メインコンテンツメタ情報取得部１４１には、メインコンテンツ受信部１１８に受信され、ユーザによりこれから閲覧される或いは、閲覧中であるメール文章、即ち、ユーザ使用メインコンテンツが入力される。従って、メインコンテンツメタ情報取得部１４１は、ユーザ使用メインコンテンツに対応するメインコンテンツメタ情報を取得して、マッチング部１４２に供給する。

マッチング部１４２は、メインコンテンツメタ情報取得部１４１から供給された、ユーザ使用メインコンテンツに対応するメインコンテンツメタ情報と、関連性情報記憶部２に記憶されている１以上の関連性情報のそれぞれに含まれるメインコンテンツメタ情報との類似度を演算し、その演算結果をコンテクスト推薦部１４３に供給する。

コンテクスト推定部１４３は、供給された演算結果（類似度）に基づいて、ユーザ使用メインコンテンツと類似するユーザ使用済みメインコンテンツを特定し、特定されたユーザ使用済みメインコンテンツに対応する関連性情報を関連性情報記憶部２から取得する。ただし、ここでは、例えば、ユーザ使用済みメインコンテンツと、ユーザのコンテクストとの関連性を示す関連性情報が取得されるとする。そして、コンテクスト推定部１４３は、取得された関連性情報に含まれるコンテクスト情報が示すコンテクストを、ユーザ使用メインコンテンツをユーザ使用したときのコンテクストであると推定し、そのコンテクスト情報を対応付帯コンテンツ取得部１４４に供給する。

対応付帯コンテンツ取得部１４４は、コンテクスト推定部１４３から供給されたコンテクスト情報を含む関連性情報を関連性情報記憶部１１７から取得する。ただし、ここでは、例えば、ユーザ使用済み付帯コンテンツと、ユーザのコンテクストとの関連性を示す関連性情報が取得されるとする。そして、コンテクスト推定部１４３は、取得された関連性情報に含まれる情報が示す（その情報で特定される）付帯コンテンツを付帯コンテンツ記憶部１２０から取得し、ユーザ使用付帯コンテンツとして出力する。

即ち、ここでは、対応付帯コンテンツ取得部１４４は、コンテクスト推定部１４３により推定された、ユーザが受信されたメール文章（ユーザ使用メインコンテンツ）を閲覧するときのコンテクストに最も適した音楽（付帯コンテンツ）を出力するのである。

以上、図２０乃至図２２を参照して、本発明が適用される他の情報処理装置であるコンテンツ送受信装置１０１の機能的構成の一例について説明した。このような機能的構成を有するコンテンツ送受信装置１０１は、大別して、メインコンテンツを生成して送信する処理（以下、送信処理と称する）と、他から送信されたメインコンテンツを受信して出力する処理（以下、受信処理と称する）とを個別に実行することができる。

以下、図２３と、図２９のそれぞれのフローチャートを参照して、図２０乃至２２のコンテンツ受信装置１０１が実行する送信処理と受信処理の具体例について、その順番で説明する。

図２３の送信処理のステップＳ１０１において、メインコンテンツ生成部１１１は、メインコンテンツ（ここでは、メール文章）を生成し、多重化部１２１を介してメインコンテンツ送信部１１２に供給する。なお、上述したように、多重化部１２１に、コンテクスト情報取得部１１５からのコンテクスト情報が供給されている場合、多重化部１２１において、メインコンテンツとコンテクスト情報とが多重化されてメインコンテンツ送信部１１２に供給される。

ステップＳ１０２において、メインコンテンツ送信部１１２は、ステップＳ１０１の処理でメインコンテンツ生成部１１１により生成されたメインコンテンツをネットワーク１０２を介して他の装置に送信する。

ステップＳ１０３において、履歴処理部１１６は、上述したステップＳ１０１とＳ１０２の処理（この送信処理）に関する履歴情報として関連性情報を生成し、関連性情報記憶部１１７に記憶させる処理、即ち、関連性情報生成処理を実行する。

このステップＳ１０３の関連性情報生成処理の詳細な例が図２４のフローチャートに示されている。そこで、以下、図２４のフローチャートを参照して、ステップＳ１０３の関連性情報生成処理の詳細例について説明する。

はじめに、ステップＳ１１１において、図２１の履歴処理部１１６のメインコンテンツメタ情報取得部１３１は、ユーザ使用済みメインコンテンツ、例えば、いまの場合、メインコンテンツ生成部１１１により生成されたメール文章のメタ情報（メインコンテンツメタ情報）を取得し、関連性情報生成部１３２に供給する。

ステップＳ１１２において、関連性情報生成部１３２は、取得されたメタ情報に基づいて、ユーザ使用済みメインコンテンツの特徴を示す特徴情報を生成する。特徴情報の具体例については後述する。

ステップＳ１１３において、関連性情報生成部１３２は、コンテクスト情報取得部１１５から供給される、ユーザ使用済みメインコンテンツを使用していた時点のユーザのコンテクストを示すコンテクスト情報を取得する。

ステップＳ１１４において、関連性情報生成部１３２は、ステップＳ１１２の処理で生成されたユーザ使用済みメインコンテンツの特徴情報と、ステップＳ１１３の処理で取得されたコンテクスト情報とを関連付けた情報（それらの２つの情報を共に含有する情報）を、メインコンテンツと、それを使用した時点のユーザのコンテクストとの関連性を示す関連性情報として生成する。

ステップＳ１１５において、関連性情報生成部１３２は、ステップＳ１１４の処理で生成された関連性情報を関連性情報記憶部１１７に記憶させる。

これにより、図２４の関連性情報生成処理は終了となる。

以上の図２４の関連性情報生成処理は、図２３の送信処理または後述する図２９の受信処理が実行される毎、または、図示せぬメインコンテンツのユーザ操作（使用）に対応するコンテンツ送受信装置１０１の処理毎に実行され、ユーザの履歴情報として、ユーザ使用済みメインコンテンツと、それに対応するユーザのコンテクストとの関連性を示す関連性情報が関連性情報記憶部１１７に蓄積されていく。

具体的には、例えば、コンテンツ送受信装置１０１が、図２３の送信処理を３回実行し、その結果として、ユーザの操作部１１３の操作に基づく３つのメール文章(以下、メール1,メール2,メール3と称する)を生成し、それぞれ送信したとする。

また、コンテクスト情報取得部１１５が、ユーザがメール1の生成操作（使用）したときには、コンテクスト情報として「楽しい」を取得し、ユーザがメール2の生成操作（使用）したときには、コンテクスト情報として「緊張」を取得し、かつ、ユーザがメール3の生成操作（使用）したときには、コンテクスト情報として「懐かしい」を取得したとする。

この場合、メール1,メール2,メール3のそれぞれに対して、上述した図２４の関連性情報生成処理が個別に実行されて、３つの関連性情報が生成されて、関連性情報記憶部１１７に記憶されることになる。

詳細には、例えば、いま、メール1,メール2,メール3のそれぞれに対するステップＳ１１１の処理で、メインコンテンツメタ情報取得部１３１が、メール1乃至メール3のそれぞれを取得し、次の（Ｉａ）乃至（IIIａ）に示される１以上の単語（名詞）のそれぞれに分解し、これらの（Ｉａ）乃至（IIIａ）の単語群のそれぞれを、メール1,メール2,メール3のそれぞれに対するメインコンテンツメタ情報として取得し、関連性情報生成部１３２に供給したとする。

（Ｉａ）旅行、日程、旅行、行き先、地図、連絡、温泉、お土産、温泉
（IIａ）日程、連絡、会議、メモ、参加、メモ、会議
（IIIａ）行き先、地図、参加、音楽、フォーク、フォーク、音楽

この場合、メール1,メール2,メール3のそれぞれに対するステップＳ１１２の処理で、関連性情報生成部１３２は、メール1,メール2,メール3のそれぞれに対する特徴情報として、はじめに、例えば、図２５に示されるような標準系の特徴ベクトル（旅行，日程，行き先，地図，連絡，温泉，会議，メモ，参加，お土産，音楽，フォーク）である、特徴ベクトルCCV1a,CCV2a,CCV3aを生成する。図２５の例では、標準系の特徴ベクトルCCV1a,CCV2a,CCV3aのそれぞれの成分には、上述した他の例にあわせて、対応するメインコンテンツメタ情報（「旅行」や「日程」等の単語）のメール文章内の登場頻度が代入されている。

従って、例えば、図２５に示されるように、特徴ベクトルCCV1aとして（2,1,1,1,1,2,0,0,0,2,0,0）が生成される。特徴ベクトルCCV2aとして（0,1,0,0,1,0,2,2,1,0,0,0）が生成される。特徴ベクトルCCV3aとして（0,0,1,1,0,0,0,0,1,0,2,2）が生成される。

上述した他の例と同様に、この特徴ベクトルCCV1a,CCV2a,CCV3aのそれぞれを、メール1,メール2,メール3のそれぞれに対する特徴情報として採用することができる。

ただし、ここでは、例えば、関連性情報生成部１３２が、この特徴ベクトルCCV1a,CCV2a,CCV3aのそれぞれの各成分のうちの、２以上の値が代入されている成分に対応する単語、即ち、対応するメール文章中に２回以上登場した単語含む情報をそれぞれ生成し、それらの情報を特徴情報として利用するとする。

即ち、ここでは、例えば、図２６に示されるような、「旅行」，「温泉」，「お土産」といった３つの単語を含む特徴情報CCI1a、「会議」，「メモ」といった２つの単語を含む特徴情報CCI2a、および、「音楽」，「フォーク」といった２つの単語を含む特徴情報CCI3aのそれぞれが生成される。

次に、メール1,メール2,メール3のそれぞれに対するステップＳ１１３の処理で、関連性情報生成部１３２は、図２５に示されるような、「楽しい」、「緊張」、および、「懐かしい」のそれぞれを、コンテクスト情報取得部１１５から取得する。

そして、メール1,メール2,メール3のそれぞれに対するステップＳ１１４の処理で、関連性情報生成部１３２は、図２６に示されるような、「楽しい」と特徴情報CCI1aとが関連付けられた関連性情報CI1a、「緊張」と特徴情報CCI2aとが関連付けられた関連性情報CI2a、および、「懐かしい」と特徴情報CCI3aとが関連付けられた関連性情報CI3aのそれぞれを生成する。

このようにして生成された関連性情報CI1a,CI2a,CI3aのそれぞれは、メール1,メール2,メール3のそれぞれに対するステップＳ１１４の処理で、関連性情報記憶部１１７に記憶される。

ところで、例えば、上述したように、コンテンツ送受信装置１０１が、図２３の送信処理を３回実行し、メール1,メール2,メール3のそれぞれを生成し、それぞれ送信した時点で、さらに、「Music1」，「Music2」，「Music3」のそれぞれの名称を持つ音楽（付帯コンテンツ）をそれぞれ出力していたとする。

この場合、コンテンツ送受信装置１０１は、上述した図２４の関連性情報生成処理を実行することで、ユーザ使用済みコンテンツ（メール1,メール2,メール3のそれぞれ）と、それを使用した時点のユーザのコンテクストとの関連性を示す関連性情報の他に、さらに、例えば、図２７の関連性情報生成処理を実行することで、ユーザ使用済み付帯コンテンツ（「Music1」，「Music2」，「Music3」のそれぞれの名称を持つ音楽）と、それを使用した時点のユーザのコンテクストとの関連性を示す関連性情報も生成する。

即ち、図２３のステップＳ１０３の処理として、図２４の関連性情報生成処理と、図２７の関連性情報生成処理といった２つの処理が実行される。

以下、図２７の関連性情報生成処理について説明する。

ステップＳ１２１において、図２１の関連性情報生成部１３２は、コンテクスト情報取得部１１５から供給される、ユーザ使用済み付帯コンテンツを使用していた時点のユーザのコンテクストを示すコンテクスト情報を取得する。

ステップＳ１２２において、関連性情報生成部１３２は、付帯コンテンツを示す情報と、ステップＳ１２１の処理で取得されたコンテクスト情報とを関連付けた情報（それらの２つの情報を共に含有する情報）を、付帯コンテンツと、それを使用した時点のユーザのコンテクストとの関連性を示す関連性情報として生成する。

ステップＳ１２３において、関連性情報生成部１３２は、ステップＳ１２２の処理で生
成された関連性情報を関連性情報記憶部１１７に記憶させる。

これにより、図２７の関連性情報生成処理は終了となる。

なお、図２７の関連性情報生成処理は、上述した例では、図２３のステップＳ１０３の処理のひとつとして実行されるとして説明したが、後述するように、図２９のステップＳ１３７の処理のひとつとしても実行されることもあるし、メインコンテンツが使用されていないときであっても、付帯コンテンツが使用されれば、必要に応じて実行されることもある。

具体的には、例えば、いまの場合、「Music1」，「Music2」，「Music3」のそれぞれの名称を持つ音楽に対応するステップＳ１２１の処理で、図２４のステップＳ１１３の処理と同一の「楽しい」、「緊張」、および、「懐かしい」のそれぞれが取得されることになる。

そして、「Music1」，「Music2」，「Music3」のそれぞれの名称を持つ音楽に対応するステップＳ１２２の処理で、関連性情報生成部１３２は、図２８に示されるような、「楽しい」と「Music1」とが関連付けられた関連性情報CI1b、「緊張」と「Music2」とが関連付けられた関連性情報CI2b、および、「懐かしい」と「Music3」とが関連付けられた関連性情報CI3bのそれぞれを生成する。

このようにして生成された関連性情報CI1b,CI2b,CI3bのそれぞれは、「Music1」，「Music2」，「Music3」のそれぞれの名称を持つ音楽に対応するステップＳ１２３の処理で、関連性情報記憶部１１７に記憶される。

従って、結局、いまの場合、以上のような３回の送信処理（図２３）に対する履歴情報として、図２６に示される関連性情報CI1a,CI2a,CI3aのそれぞれと、図２８に示される関連性情報CI1b,CI2b,CI3bのそれぞれが、関連性情報記憶部１１７に記憶される。

以上、図２０乃至２２のコンテンツ受信装置１０１が実行する送信処理の具体例について説明した。

次に、図２９のフローチャートを参照して、図２０乃至２２のコンテンツ受信装置１０１が実行する受信処理の具体例について説明する。

他の装置からネットワーク１０２を介してメール文章（メインコンテンツ）が送信されてきた場合、ステップＳ１３１において、図２０のメインコンテンツ受信部１１８は、そのメインコンテンツを受信する。

ステップＳ１３２において、ユーザ使用付帯コンテンツ決定部１１９は、現在のコンテンツ送受信装置１０１の動作モードが、付帯コンテンツ（ここでは、上述したように、音楽）の自動出力を行うモード（以下、付帯コンテンツ自動出力モードと称する）であるか否かを判定する。なお、自動出力とは、上述した自動再生と同様の概念である。即ち、自動再生とは、付帯コンテンツが音楽等の場合の自動出力の別称である。

ステップＳ１３２において、付帯コンテンツ自動出力モードであると判定された場合、処理はステップＳ１３３に進む。ただし、ステップＳ１３３以降の処理については後述する。

これに対して、ステップＳ１３２において、付帯コンテンツ自動出力モードではないと判定された場合、ステップＳ１３５において、メインコンテンツ受信部１１８は、メインコンテンツの使用（ここでは、メール文章の閲覧）が指示されたか否かを判定する。

スイッチ１２２がオフ状態の場合、ステップＳ１３５において、メインコンテンツの使用が指示されていないと判定されて、処理はステップＳ１３５に戻されて、メインコンテンツの使用が指示されたか否かが再度判定される。即ち、スイッチ１２２がオン状態に切り替えられるまで、ステップＳ１３５の処理が繰り返し実行される。

なお、ユーザは、そのメール文章（メインコンテンツ）を閲覧せずに削除したいと所望した場合、操作部１１３を操作して削除の指令をメインコンテンツ受信部１１８に入力させる（指令入力を示す矢印は図２０には図示せず）ことで、ステップＳ１３５のループ処理を終了させて、受信処理自体を強制的に終了させることもできる。

一方、ユーザが、そのメール文章（メインコンテンツ）を閲覧したいと所望した場合、操作部１１３を操作して、スイッチ１２２をオン状態に切り替える。

すると、メインコンテンツ受信部１１８は、ステップＳ１３５において、メインコンテンツの使用がユーザにより指示されたと判定し、ステップＳ１３６において、メインコンテンツを出力する。即ち、ステップＳ１３６において、いまの場合、メインコンテンツであるメール文章が、画像として表示装置等に表示される。

ステップＳ１３７において、履歴処理部１１６は、上述したステップＳ１３１乃至Ｓ１３６の処理（この受信処理）に関する履歴情報として関連性情報を生成し、関連性情報記憶部１１７に記憶させる処理、即ち、関連性情報生成処理を実行する。

このステップＳ１３７の関連性情報生成処理として、例えば、上述した図２４のフローチャートに従った処理が実行される。即ち、ステップＳ１３７において、ユーザ使用済みメインコンテンツ（受信され、ユーザに閲覧されたメール文章）と、それを使用した時点のユーザのコンテクストとの関連性を示す関連性情報が生成され、関連性情報記憶部１１７に記憶される。

さらに、いまの場合のように、コンテンツ送受信装置１０１の動作モードが付帯コンテンツ自動出力モード以外であって、ユーザが操作部１１３を操作して指定した付帯コンテンツ（音楽）が、上述したステップＳ１３１乃至Ｓ１３６の処理期間のうちの少なくとも一部の期間で出力されていたとき、例えば、上述した図２７のフローチャートに従った処理が実行される。即ち、ステップＳ１３７において、ユーザ使用済み付帯コンテンツ（ユーザがメール文章を閲覧していたときに出力された音楽）と、それを使用した時点のユーザのコンテクストとの関連性を示す関連性情報が生成され、関連性情報記憶部１１７に記憶される。

これにより、受信処理は終了となる。

以上、コンテンツ送受信装置１０１の動作モードが付帯コンテンツ自動出力モード以外の場合の受信処理について説明した。

以下、コンテンツ送受信装置１０１の動作モードが付帯コンテンツ自動出力モードである場合の受信処理について説明する。

この場合、ステップＳ１３１の処理でメインコンテンツ（メール文章）が受信されると、ステップＳ１３２の処理で付帯コンテンツ自動出力モードであると判定されて、処理はステップＳ１３３に進められる。

ステップＳ１３３において、ユーザ使用付帯コンテンツ決定部１１９は、関連性情報記憶部１１７に記憶された関連性情報を適宜参照しつつ、ステップＳ１３１の処理で受信されたメインコンテンツを使用した際のユーザのコンテクストを推定し、推定されたコンテクストに適する付帯コンテンツ（音楽）を決定する。なお、以下、このようなステップＳ１３３の処理を、以下、付帯コンテンツ決定処理と称する。付帯コンテンツ決定処理の詳細については、図３０のフローチャートを参照して後述する。

次に、ステップＳ１３４において、ユーザ使用付帯コンテンツ決定部１１９は、ステップＳ１３３の付帯コンテンツ決定処理で決定された付帯コンテンツ（音楽）を、ユーザ使用付帯コンテンツとして出力する。

即ち、ここでは、ステップＳ１３３の付帯コンテンツ決定処理で決定された音楽が自動再生されることになる。

なお、図２９の例では、ステップＳ１３３とＳ１３４の処理は、ステップＳ１３６の前に実行されるため、音楽の自動再生のタイミングは、ユーザがメール文章を閲覧する前（メインコンテンツの出力処理であるステップＳ１３６の処理）となる。

しかしながら、音楽の自動再生のタイミングは、例えば、ユーザがメール文章を閲覧している最中であっても構わない。このような場合、ステップＳ１３５の処理でＹＥＳであると判定されたとき、ステップＳ１３６の処理と、ステップＳ１３３とＳ１３４の処理とが並列して実行されることになる。

また、例えば、音楽の自動再生のタイミングは、ユーザがメール文章を閲覧した後であっても構わない。このような場合、ステップＳ１３６の処理の後、ステップＳ１３３とＳ１３４の処理が実行されることになる。

次に、図３０のフローチャートを参照して、図２９のステップＳ１３３の付帯コンテンツ決定処理例の詳細について説明する。

ステップＳ１４１において、図２２のユーザ使用付帯コンテンツ決定部１１９Ａのメインコンテンツメタ情報取得部１４１は、メインコンテンツ（受信部１１８に受信されたメール文章）のメタ情報（メインコンテンツメタ情報）を取得し、マッチング部１４２に供給する。

ステップＳ１４２において、マッチング部１４２は、取得されたメタ情報に基づいて、メインコンテンツの特徴を示す特徴情報を生成する。

なお、このステップＳ１４１とＳ１４２の処理のそれぞれは、上述した図２４のステップＳ１１１とＳ１１２の処理のそれぞれと、処理対象の違い、即ち、例えば、ここでは、処理対象が、ステップＳ１４１とＳ１４２の処理では、ユーザがこれから閲覧する或いは閲覧中であるメール文章であるのに対して、ステップＳ１１１とＳ１１２の処理では、ユーザが既に閲覧したメール文章であることの違いはあるが、その他、基本的に同様の処理である。従って、ステップＳ１４１とＳ１４２の処理の詳細な説明については省略する。

ステップＳ１４３において、マッチング部１４２は、ステップＳ１４２で生成されたメインコンテンツの特徴情報と、関連性情報記憶部１１７に予め保持（記憶）されている1以上の関連性情報（ただし、ここでは、メインコンテンツとコンテクストの関連性情報）に含まれる特徴情報のそれぞれとの類似度を演算し、その演算結果をコンテクスト推定部１４３に供給する。

ステップＳ１４４において、コンテクスト推定部１４３は、類似度が所定の閾値以上の特徴情報を含有する関連性情報（ただし、ここでは、メインコンテンツとコンテクストの関連性情報であって、例えば、図２６の関連性情報CI1a，CI2a，CI3a等）を取得し、取得された関連性情報に含まれるコンテクスト情報に基づいて、ユーザがメインコンテンツ（ステップＳ１４１の処理でメタ情報が取得されたメインコンテンツ）を使用した際のコンテクストを推定する。

このステップＳ１４４の処理で推定されたコンテクストに対応するコンテクスト情報、即ち、類似度が所定の閾値以上の特徴情報を含有する関連性情報に含まれるコンテクスト情報は、対応付帯コンテンツ取得部１４４に供給される。

ステップＳ１４５において、対応付帯コンテンツ取得部１４４は、関連性情報記憶部１１７に予め保持（記憶）されている1以上の関連性情報（ただし、ここでは、付帯コンテンツとコンテクストの関連性情報であって、例えば、図２８の関連性情報CI1b，CI2b，CI3b等）の中から、推定されたコンテクストに対応するコンテクスト情報を含有する関連性情報を取得する。

ステップＳ１４６において、対応付帯コンテンツ取得部１４４は、ステップＳ１４５の処理で取得された関連性情報に含まれる付帯コンテンツを示す情報に対応する付帯コンテンツを取得し、ユーザ使用付帯コンテンツとして決定する。

これにより、図３０の付帯コンテンツ決定処理は終了となる。

以下、図３０の付帯コンテンツ決定処理の具体例についてさらに説明する。

例えば、いま、図３１に示されるようなメール文章が、メインコンテンツ受信部１１８に受信され、メインコンテンツメタ情報取得部１４１に供給されたとする。

また、関連性情報記憶部１１７には、上述した例にあわせて、図２６の関連性情報CI1a，CI2a，CI3aのそれぞれと、図２８の関連性情報CI1b，CI2b，CI3bのそれぞれが記憶されているとする。

この場合、ステップＳ１４１の処理で、メインコンテンツメタ情報取得部１４１は、図３１のメール文章の内容である「先週、北海道に行ってきました。お土産買ってきました。お茶スペースにあるので、よければどうぞ」から、次の（IVａ）のような単語群に分解し、これらの各単語のそれぞれを、メインコンテンツメタ情報として取得し、マッチング部１４２に供給する。

（IVａ）お土産、お土産

なお、実際には、メインコンテンツメタ情報取得部１４１は、さらに「先週」や「北海道」といった他の単語もメインコンテンツメタ情報として取得することになるが、ここでは、上述した図２５に示される標準系の特徴ベクトル（旅行，日程，行き先，地図，連絡，温泉，会議，メモ，参加，お土産，音楽，フォーク）の成分に対応する単語のみを、メインコンテンツメタ情報として取得するとする。

次に、ステップＳ１４２の処理で、マッチング部１４２は、（IVａ）で示されるメインコンテンツメタ情報から、図２５に示される標準形の特徴ベクトルCCVnaとして（0,0,0,0,0,0,0,0,0,2,0,0）を生成する。さらに、マッチング部１４２は、特徴ベクトルCCVnaから、「お土産」を含む特徴情報CIInaを生成する。

そして、マッチング部１４２は、ステップＳ１４３の処理で、特徴情報CIInaと、図２６の関連性情報CI1aに含まれる特徴情報CII1a,関連性情報CI2aに含まれる特徴情報CII2a，関連性情報CI3aに含まれる特徴情報CII3aのそれぞれとの類似度を演算し、その演算結果をコンテクスト推定部１４３に供給する。

いまの場合、特徴情報CIInaと、図２６の関連性情報CI1aに含まれる特徴情報CII1aとが最も類似度が高くなるので、ステップＳ１４４において、コンテクスト推定部１４３は、この関連性情報CI1aに含まれる「楽しい」に基づいて、ユーザが図３１のメール文章を閲覧する際のコンテクストは、例えば、「楽しい気分」になると推定する。そして、「楽しい」というコンテクスト情報が対応付帯コンテンツ取得部１４４に供給される。

すると、ステップＳ１４５とＳ１４６の処理で、対応付帯コンテンツ取得部１４４は、「楽しい」を含む図２８の関連性情報CI1bを取得し、その関連性情報CI1bに含まれる「Music1」という名称の音楽（付帯コンテンツ）を付帯コンテンツ記憶部１２０から取得して、出力する。

このように、コンテンツ送受信装置１０１の動作モードが付帯コンテンツ自動出力モードである場合、コンテンツ送受信装置１０１は、図３１のメール文章を受信すると、ユーザがそのメール文章を閲覧すると「楽しい気分」になると推定し、過去にユーザが「楽しい気分」であったときに再生されていた「Music1」という名称の音楽を自動再生することができる。

より一般的には、コンテンツ送受信装置１０１の動作モードが付帯コンテンツ自動出力モードである場合、コンテンツ送受信装置１０１は、受信されたメール文章をユーザが閲覧する前に（開封の操作を行う前に）、或いは、閲覧中に（開封する時点もしくはその時点の後に）、受信されたメールを閲覧するときのユーザのコンテクストを推定し、推定されたコンテクストに関連付けられた付帯コンテンツ（音楽や画像）を自動出力することができる。

このように、付帯コンテンツの自動出力タイミングは、特に限定されないが、開封前（閲覧前）とすることで、ユーザは受信されたメール文章の雰囲気（それを閲覧した際自分がどういったコンテクストにおかれるのか）を予測することが可能になる。

また、上述したように、このとき自動出力される付帯コンテンツは、音楽に特に限定されないので、文字だけからなる画像、アイコンからなる画像、もしくは、音などでもよいし、文字自体の色やデザインが変化する画像であってもよい。このような付帯コンテンツでも、ユーザは、受信されたメール文章を閲覧しなくても、自動出力されている付帯コンテンツを使用する（音の場合、聴くであり、画像の場合、見るである）ことで、そのメールの雰囲気を感じ取ることができる。

さらに、コンテンツ送受信装置１０１がメール文章の音声を読み上げる（音声出力する）機能を有している場合には、受信されたメール文章も付帯コンテンツとしてみなし、そのメール文章を読み上げる（自動出力する）際には、推定されたユーザのコンテクストに応じて、その声質や声色を変えることができる。

また、このように、受信されたメール文章も付帯コンテンツとしてみなすことで、推定されたコンテクストに応じて、出力先を変えることができる。即ち、出力先は、図２０の例では外部とされているが、コンテンツ送受信装置１０１が内蔵するメモリ（図示せず）に設けられている各フォルダとしてもよく、この場合、推定されたコンテクスト別、例えば、感情別に、受信されたメール文章を記憶させるフォルダを分類することが可能になる。或いは、例えば、コンテンツ送受信装置１０１が携帯電話機やPDA(Personal Digital Assistants)として構成される場合、出力先として、デスクトップ型の他のコンピュータとすることで、ユーザが休暇中このコンテンツ送受信装置１０１を持参していても、コンテンツ送受信装置１０１は、楽しい（と推定される）メール文章しか受信せず、気分を害しそうな（と推定される）メール文章をデスクトップで型の他のコンピュータに転送させるといった、用途の異なる受信端末間でフィルタリング処理を実行することもできる。

ところで、上述したように、このコンテンツ送受信装置１０１は、送信者（ユーザ）のコンテクストを示すコンテクスト情報をメール文章（メインコンテンツ）に付加して送信することができる。即ち、ユーザは送信相手に対して、自分のコンテクストを示すコンテクスト情報を付加したメール文章を送信することができる。例えば、ユーザは、送信相手に対して、お礼の内容を含むメール文章を送信するときに、お礼の気持ちを示すコンテクスト情報、例えば、「嬉しい」といった情報を、そのメール文章に付加して送信することができる。

従って、受信側のコンテンツ送受信装置１０１側では、このようなコンテクスト情報が付加されたメール文章を受信した場合、受信側の他のユーザの履歴に基づいて、そのメール文章に付加されたコンテクスト情報が示すコンテクストと関連付けられた音楽（付帯コンテンツ）を自動出力することも可能である。即ち、上述したように、「嬉しい」というコンテクスト情報がメール文章に付加されている場合、その「嬉しい」というコンテクストに適する音楽の自動出力が可能である。

ここで、注目すべき点は、このとき自動出力される音楽は、送信側のユーザではなく、受信側の他のユーザにとって、「嬉しい」等のコンテクストに適する音楽である点である。

詳細には、上述したように、従来、送信側のユーザは、「嬉しい」というコンテクストを受信側の他のユーザに伝えるために、送信側のユーザが考える「嬉しい」に適した音楽を、メール文章に付加して、受信側の他のユーザに送ることはできた。しかしながら、受信側の他のユーザは、このようにしてメール文章に付加された音楽を聴いたとしても、その音楽から「嬉しい」というコンテクストを想像するとは限らない。即ち、受信側の他のユーザは、送信側のユーザのコンテクストを誤解してしまう可能性もある。

そこで、本実施の形態においては、送信側のコンテンツ送受信装置１０１が、送信側のユーザのコンテクストを示すコンテクスト情報を、受信側のコンテンツ送受信装置１０１に送信し、受信側のコンテンツ送受信装置１０１が、受信側の他のユーザから見て、そのコンテクスト情報が示すコンテクストに適する音楽を推定し、推定された音楽を自動再生するのである。

図３２は、このように、コンテクスト情報が付加されたメール文章（メインコンテンツ）が受信されてユーザに呈示されるときまたはその前後の時点において、受信側のユーザ（送信側のユーザから見た場合、他のユーザ）にとって、メール文章に付加されたコンテクスト情報が示すコンテクストに適した音楽（付帯コンテンツ）を決定し、出力する（自動再生する）ことを目的とする、ユーザ使用付帯コンテンツ決定部１１９の機能的構成例を示している。

なお、以下、図３２の機能的構成を有するユーザ使用付帯コンテンツ決定部１１９を、上述した図２２の機能的構成を有するユーザ使用付帯コンテンツ決定部１１９Ａ等と区別するために、特に、ユーザ使用付帯コンテンツ決定部１１９Ｂと称する。

ユーザ使用付帯コンテンツ決定部１１９Ｂは、コンテクスト情報分離部１５１乃至対応付帯コンテンツ取得部１５４から構成される。

コンテクスト情報分離部１５１には、メインコンテンツ受信部１１８に受信され、ユーザによりこれから閲覧される或いは、閲覧中であるメール文章であって、コンテクスト情報が付加されたメール文章が入力される。即ち、コンテクスト情報分離部１５１には、ユーザ使用メインコンテンツが入力される。従って、コンテクスト情報分離部１４１は、入力されたユーザ使用メインコンテンツ、即ち、コンテクスト情報が付加されたメール文章から、コンテクスト情報を分離させ、マッチング部１５２に供給する。

マッチング部１５２は、コンテクスト情報分離部１５１から供給されコンテクスト情報と、関連性情報記憶部１１７に記憶されている１以上の関連性情報のそれぞれに含まれるコンテクスト情報との類似度を演算し、類似度が閾値以上のコンテクスト情報を含む関連性情報を取得し、類似メインコンテンツ選定部１５３に供給する。ただし、ここでは、例えば、ユーザ使用済みメインコンテンツの特徴情報と、コンテクスト情報とを含む関連性情報（例えば、図２６の関連性情報CI1a，CI2a,CI3a等）が取得されるとする。

類似メインコンテンツ選定部１５３は、供給された関連性情報に含まれる特徴情報に対応するユーザ使用済みメインコンテンツ（過去に閲覧したメール文章等）を、今回受信されたメール文章と類似する類似メインコンツであると選定し、その特徴情報を対応付帯コンテンツ取得部１５４に供給する。

対応付帯コンテンツ取得部１５４は、類似メインコンテンツ選定部１５３から供給された特徴情報を含む関連性情報を関連性情報記憶部１１７から取得する。ただし、ここでは、例えば、ユーザ使用済み付帯コンテンツと、ユーザ使用済みメインコンテンツとの関連性を示す関連性情報（例えば、上述した図５の関連性情報CI1,CI2,CI3）が取得されるとする。そして、対応付帯コンテンツ取得部１５４は、取得された関連性情報に含まれる情報が示す（その情報で特定される）付帯コンテンツを付帯コンテンツ記憶部１２０から取得し、ユーザ使用付帯コンテンツとして出力する。

即ち、ここでは、対応付帯コンテンツ取得部１５４は、ユーザが過去に閲覧したメール文章のうちの、今回受信されたメール文章（ユーザ使用メインコンテンツ）と類似するメール文章、即ち、受信されたメール文章に添付されたコンテクスト情報が示すコンテクストと同一または類似のコンテクストで過去に閲覧したメール文章に対応付けられている音楽（ユーザがその類似メール文章を閲覧したときに出力されていた音楽）を自動再生するのである。

このように、上述した図３２の例では、関連性情報記憶部１１７に記憶されている関連性情報のうちの、ユーザ使用済みメインコンテンツと、コンテクストとの関連性を示す関連性情報（例えば、図２６の関連性情報CI1a，CI2a,CI3a等）と、ユーザ使用済み付帯コンテンツと、ユーザ使用済みメインコンテンツとの関連性を示す関連性情報（例えば、上述した図５の関連性情報CI1,CI2,CI3）とが使用された。即ち、図３２は、この２つの種類の関連性情報を使用するユーザ使用付帯コンテンツ決定部１１９Ｂの機能的構成例を示している。

ただし、例えば、関連性情報記憶部１１７に、ユーザ使用済み付帯コンテンツの特徴情報と、コンテクスト情報とを含む関連性情報（例えば、図２８の関連性情報CI1b，CI2b,CI3b等）が記憶されていれば、類似メインコンテンツ選定部１５３は不要になる。即ち、図示はしないが、この１種類の関連性情報を使用するユーザ使用付帯コンテンツ決定部１１９は、例えば、コンテクスト情報分離部１５１、マッチング部１５２、および、対応付帯コンテンツ取得部１５４から構成することができる。

この場合、マッチング部１５２は、コンテクスト情報分離部１５１から供給されコンテクスト情報と、関連性情報記憶部１１７に記憶されている１以上の関連性情報のそれぞれに含まれるコンテクスト情報との類似度を演算し、類似度が閾値以上のコンテクスト情報を含む関連性情報を取得し、対応付帯コンテンツ取得部１５４に供給する。繰り返しになるが、ここでは、例えば、ユーザ使用済み付帯コンテンツの特徴情報と、コンテクスト情報とを含む関連性情報（例えば、図２８の関連性情報CI1b，CI2b,CI3b等）が取得されるとする。

対応付帯コンテンツ取得部１５４は、マッチング部１５２から供給された関連性情報に含まれる情報が示す（その情報で特定される）付帯コンテンツを付帯コンテンツ記憶部１２０から取得し、ユーザ使用付帯コンテンツとして出力する。

即ち、ここでは、対応付帯コンテンツ取得部１５４は、過去に出力された音楽のうちの、受信されたメール文章に添付されたコンテクスト情報が示すコンテクストと同一または類似のコンテクストで過去にユーザが聞いた音楽を自動再生するのである。

次に、図３３のフローチャートを参照して、図３２のユーザ使用付帯コンテンツ決定部１１９Ｂが実行する付帯コンテンツ決定処理、即ち、ユーザ使用済みメインコンテンツと、コンテクストとの関連性を示す関連性情報（例えば、図２６の関連性情報CI1a，CI2a,CI3a等）と、ユーザ使用済み付帯コンテンツと、ユーザ使用済みメインコンテンツとの関連性を示す関連性情報（例えば、上述した図５の関連性情報CI1,CI2,CI3）といった、２つの種類の関連性情報を使用する付帯コンテンツ決定処理について説明する。

例えば、いま、上述した図２９のステップＳ１３１の処理で、図２０のメインコンテンツ受信部１１８に、コンテクスト情報が付加されたメール文章が受信され、上述したように、図２０のコンテンツ送受信装置１０１の動作モードが付帯コンテンツ自動出力モードである場合、即ち、図２９のステップＳ１３２において、付帯コンテンツ自動出力モードであると判定された場合、処理はステップＳ１３３に進む。

この場合、図３３のフローチャートに従って、ステップＳ１３３の付帯コンテンツ決定
処理が実行される。

即ち、はじめに、ステップＳ１６１において、図３２のコンテクスト情報分離部１５１には、メインコンテンツ受信部１１８に受信されたメール文章（受信メインコンテンツ）から、それに付与されたコンテクスト情報を分離させ、マッチング部１５２に供給する。

ステップＳ１６２において、マッチング部１５２は、関連性情報記憶部１１７に予め保持（記憶）されている１以上の関連性情報（メインコンテンツとコンテクストとの関連性情報）の中から、ステップＳ１６１の処理で分離されたコンテクスト情報と同一のコンテクスト情報を含有する関連性情報を取得する。

なお、このステップＳ１６２の処理は、例えば、上述した図２６の関連性情報CI1a，CI2a,CI3a等のように、「楽しい」，「緊張」，「懐かしい」といった１つのコンテクスト情報を含む関連性情報を利用する場合の処理例である。

従って、例えば、２以上のコンテクスト情報を含む関連性情報を利用する場合には、ステップＳ１６２の処理を実行してもよいし、代わりに、次のような処理を実行してもよい。即ち、１以上の関連性情報のそれぞれに含まれるコンテクスト情報と、分離された関連性情報との類似度を演算し、類似度が閾値以上のコンテクスト情報を含む関連性情報を取得する、といった処理である。

次に、ステップＳ１６３において、類似メインコンテンツ選定部１５３は、ステップＳ１６３の処理で取得された関連性情報に含まれる特徴情報に対応するユーザ使用済みメインコンテンツ（過去に閲覧したメール文章等）を、受信メインコンテンツ（直前の図２９のステップＳ１３１の処理で受信されたメール文章）と類似する類似メインコンテクストとして選定し、その特徴情報を対応付帯コンテンツ取得部１５４に供給する。

ステップＳ１６４において、対応付帯コンテンツ取得部１４４は、関連性情報記憶部１１７に予め保持された（記憶された）１以上の関連性情報（付帯コンテンツとメインコンテンツとの関連性情報であって、例えば、上述したように、図５の関連性情報CI1,CI2,CI3）の中から、ステップＳ１６３の処理で選定されたメインコンテンツに対応する特徴情報、即ち、類似メインコンテンツ選定部１５３から供給された特徴情報を含む関連性情報を取得する。

ステップＳ１６５において、対応付帯コンテンツ取得部１４４は、ステップＳ１６４の処理で取得された関連性情報に含まれる付帯コンテンツを示す情報に対応する付帯コンテンツ（ここでは音楽）を付帯コンテンツ記憶部１２０から取得し、ユーザ使用付帯コンテンツとして決定する。

以上の処理の結果、図２９のステップＳ１３３の付帯コンテンツ決定処理は終了となり、この付帯コンテンツ決定処理により決定されたユーザ使用付帯コンテンツが出力される。即ち、ここではステップＳ１６５の処理で取得された音楽が自動再生される。

これにより、自動再生された音楽を聴いた受信側のユーザ（送信側のユーザから見た場合、他のユーザ）は、その音楽から、送信側の他のユーザのコンテクストを容易に想像することができる。即ち、受信側のユーザは、受信されたメール文章を読まなくても、そのメール文章の雰囲気を感じ取ることができる。

なお、図３３の付帯コンテンツ決定処理においても、上述した図３０の付帯コンテンツ決定処理と同様に、自動出力される（と決定された）付帯コンテンツは、音楽に特に限定されず、文字だけからなる画像、アイコンからなる画像、もしくは、音などでもよいし、文字自体の色やデザインが変化する画像であってもよい。或いは、例えば、「送信側のユーザは、こんなコンテクストだよ」といったメッセージの音声または画像であってもよい。このような付帯コンテンツでも、ユーザは、受信されたメール文章を閲覧しなくても、自動出力されている付帯コンテンツを使用する（音の場合、聴くであり、画像の場合、見るである）ことで、そのメールの送信者（送信側のユーザ）のコンテクストを推定できるので、そのメール文章の雰囲気を感じ取ることができる。

さらに、上述した図３０の付帯コンテンツ決定処理と同様に、コンテンツ送受信装置１０１がメール文章の音声を読み上げる（音声出力する）機能を有している場合には、受信されたメール文章も付帯コンテンツとしてみなし、そのメール文章を読み上げる（自動出力する）際には、推定されたユーザのコンテクストに応じて、その声質や声色を変えることができる。

また、上述した図３０の付帯コンテンツ決定処理と同様に、このように、受信されたメール文章も付帯コンテンツとしてみなすことで、推定されたコンテクストに応じて、出力先を変えることができる。即ち、出力先は、図２０の例では外部とされているが、コンテンツ送受信装置１０１が内蔵するメモリ（図示せず）に設けられている各フォルダとしてもよく、この場合、推定されたコンテクスト別、例えば、感情別に、受信されたメール文章を記憶させるフォルダを分類することが可能になる。或いは、例えば、コンテンツ送受信装置１０１が携帯電話機やPDA(Personal Digital Assistants)として構成される場合、出力先として、デスクトップ型の他のコンピュータとすることで、ユーザが休暇中このコンテンツ送受信装置１０１を持参していても、コンテンツ送受信装置１０１は、楽しい（という送信者側のコンテクストの）メール文章しか受信せず、気分を害している（という送信者側のコンテクストの）メール文章をデスクトップで型の他のコンピュータに転送させるといった、用途の異なる受信端末間でフィルタリング処理を実行することもできる。

以上、本発明が適用される情報処理装置の実施の形態として、図１に示される情報処理装置と、図２０に示されるコンテンツ送受信装置１０１といった２つの実施の形態について説明したが、本発明が適用される情報処理装置はこの２つの形態に限定されず、基本的には次のような構成の形態であればよい。

即ち、本発明が適用される情報処理装置は、メインコンテンツと付帯コンテンツとを出力可能な情報処理装置であって、出力済みのメインコンテンツを情報処理装置が出力していた時点とその近傍の時間帯において、情報処理装置を利用していたユーザに関連する1以上の情報からなる履歴情報を生成する履歴情報生成部と、履歴情報生成部により生成された履歴情報を１以上記憶する履歴情報記憶部と、付帯コンテンツを１以上記憶するコンテンツ記憶部と、コンテンツ記憶部に記憶された１以上の付帯コンテンツのそれぞれの特徴と、履歴情報記憶部に記憶されている１以上の履歴情報とに基づいて、新たなメインコンテンツの出力中またはその前後に出力されることがユーザにとって相応しいと判断される付帯コンテンツを決定する決定部とを少なくとも備えていればよい。

換言すると、図１の情報処理装置は、履歴情報生成部として履歴処理部１が、履歴情報記憶部として関連性情報記憶部２が、コンテンツ記憶部として付帯コンテンツ記憶部３が、決定部としてユーザ使用付帯コンテンツ決定部６が、それぞれ採用された場合の本発明が適用される情報処理装置の一実施形態である。

また、図２０のコンテンツ送受信装置１０１は、履歴情報生成部として履歴処理部１１６が、履歴情報記憶部として関連性情報記憶部１１７が、コンテンツ記憶部として付帯コンテンツ記憶部１２０が、決定部としてユーザ使用付帯コンテンツ決定部１１９が、それぞれ採用された場合の本発明が適用される情報処理装置の一実施形態である。

このような、本発明が適用される情報処理装置は、メインコンテンツの出力中またはその前後に、その時点のユーザの状況に適した付帯コンテンツを容易に出力することができるという効果を奏することが可能になる。

具体的には、例えば、図１の情報処理装置と、図２０のコンテンツ送受信装置１０１のそれぞれは、次のような効果を奏することが可能になる。

即ち、図１の情報処理装置が奏することが可能な効果とは、これまで、ＢＧＭやＢＧＶ等の付帯コンテンツは自分で選択して楽しむものであったものが、その付帯コンテンツを操作対象となるテキスト（メインコンテンツ）と関連付けて、現時点の操作（その操作対象となっているメインコンテンツ）に適する付帯コンテンツを自動的に選択し、再生することができる効果である。

また、図２０のコンテンツ送受信装置１０１が奏することが可能な効果とは、これまで、メール文章（メインコンテンツ）の送受信と画像や音楽（付帯コンテンツ）の関連に関しては、送り手（送信側のユーザ）が選択した画像や音楽を送る、または自分（受信側のユーザ）で画像や音楽を選ぶということしかできなかったみのが、ユーザ個々人が最も適合すると感じるものを自動的に選択できるようになり、演出効果を高めることができるようになった効果である。例えば、着メロの進化サービスとして、受信時にメールの内容を分析し学習しておくことにより、音で内容や相手を知らせる場合に、ユーザが着信音などを予め設定しておくことなく、ユーザのイメージに最も適合する音や画像などを呈示することができる効果である。

ところで、上述した一連の処理は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることができる。

この場合、図１の情報処理装置と、図２０のコンテンツ送受信装置１０１のそれぞれは、例えば、図３４に示されるようなパーソナルコンピュータで構成することができる。

図３４において、CPU（Central Processing Unit）２０１は、ROM（Read Only Memory）２０２に記録されているプログラム、または記憶部２０８からRAM（Random Access Memory）２０３にロードされたプログラムに従って各種の処理を実行する。RAM２０３にはまた、CPU２０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU２０１、ROM２０２、およびRAM２０３は、バス２０４を介して相互に接続されている。このバス２０４にはまた、入出力インタフェース２０５も接続されている。

入出力インタフェース２０５には、キーボード、マウスなどよりなる入力部２０６、ディスプレイなどよりなる出力部２０７、ハードディスクなどより構成される記憶部２０８、および、モデム、ターミナルアダプタなどより構成される通信部２０９が接続されている。通信部２０９は、インターネットを含むネットワークを介して他の情報処理装置（図示せず）との通信処理を行う。

入出力インタフェース２０５にはまた、必要に応じてドライブ５１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどよりなるリムーバブル記録媒体５１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部２０８にインストールされる。

一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。

このようなプログラムを含む記録媒体は、図３４に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（ＭＤ（Mini-Disk）を含む）、もしくは半導体メモリなどよりなるリムーバブル記録媒体（パッケージメディア）５１１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM２０２や、記憶部２０８に含まれるハードディスクなどで構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数の装置や処理部により構成される装置全体を表すものである。

本実施の形態の情報処理装置の機能的構成例を示すブロック図である。 図１の履歴処理部の機能的構成例を示すブロック図である。 図１のユーザ使用付帯コンテンツ決定部の機能的構成例を示すブロック図である。 図１の情報処理装置が実行する関連性情報生成処理を説明するフローチャートである。 図４の関連性情報生成処理で生成される関連性情報の一例を示す図である。 図１の情報処理装置が実行するユーザ使用付帯コンテンツ決定処理を説明するフローチャートである。 ユーザ使用メインコンテンツの特徴ベクトルの例を示す図である。 図７の特徴ベクトルとの類似度を演算するために生成される行列Ａの例を示す図である。 図７の特徴ベクトルと図８の行列Ａの列成分である特徴ベクトルの類似度の演算結果を示す図である。 図４の関連性情報生成処理で使用される関連性情報の一例を示す図である。 ユーザ使用メインコンテンツの特徴ベクトルの例を示す図である。 図１１の特徴ベクトルとの類似度を演算するために生成される行列Ｃの例を示す図である。 図１１の特徴ベクトルと図１２の行列Ｃの列成分である特徴ベクトルの類似度の演算結果を示す図である。 図１１の特徴ベクトルと図１２の行列Ｃの列成分である特徴ベクトルとのコンテクスト情報を０とした場合の類似度の演算結果を示す図である。 図１の情報処理装置が実行する付帯コンテンツ特徴情報生成処理例を説明するフローチャートである。 図１の情報処理装置が実行するユーザ使用付帯コンテンツ決定処理例を説明するフローチャートである。 図１の情報処理装置が実行する関連性情報更新処理例を説明するフローチャートである。 図１の情報処理装置が実行する関連性情報更新処理（学習処理）例を説明するフローチャートである。 本発明が適用される情報処理システムの構成例を示すブロック図である。 図１９のコンテンツ送受信装置の機能的構成例を示すブロック図である。 図２０の履歴処理部の機能的構成例の詳細を示すブロック図である。 図２０のユーザ使用付帯コンテンツ決定部の機能的構成例の詳細を示すブロック図である。 図２０のコンテンツ送受信装置が実行する送信処理例を説明するフローチャートである。 図２３の関連性情報生成処理の詳細例を説明するフローチャートである。 図２４の関連性情報生成処理で利用されるメインコンテンツの特徴の一例を示す図である。 図２５のメインコンテンツに対して図２４の関連性情報生成処理が実行された結果生成される関連性情報の一例を示す図である。 図２３の関連性情報生成処理の詳細例を説明するフローチャートである。 図２５のメインコンテンツに対して図２７の関連性情報生成処理が実行された結果生成される関連性情報の一例を示す図である。 図２０のコンテンツ送受信装置が実行する受信処理例を説明するフローチャートである。 図２９の付帯コンテンツ決定処理の詳細例を説明するフローチャートである。 図３０の付帯コンテンツ決定処理で使用される受信メインコンテンツ（メール文章）の例を示す図である。 図２０のユーザ使用付帯コンテンツ決定部の機能的構成の詳細例を示すブロック図である。 図２９の付帯コンテンツ決定処理の詳細例を説明するフローチャートである。 本発明が適用される情報処理装置のハードウエアの構成例を示すブロック図である。

符号の説明

１ 履歴処理部， ２ 関連性情報記憶部， ３ 付帯コンテンツ記憶部３， ４ 付帯コンテンツメタ情報記憶部， ５ 付帯コンテンツメタ情報取得部， ６ ユーザ使用付帯コンテンツ決定部， ７ センサ， ８ 操作部， １１ メインコンテンツメタ情報取得部， １２ 関連性情報生成部， １３ コンテクスト情報取得部， ２１ メインコンテンツメタ情報取得部， ２２ マッチング部， ２３ 付帯コンテンツ推薦部， ２４ スイッチ， ２５ 付帯コンテンツ出力部， ２６ 付帯コンテンツ情報呈示部， １０１ コンテンツ送受信装置， １１１ メインコンテンツ生成部， １１２ メインコンテンツ送信部， １１３ 操作部， １１４ センサ， １１５ コンテクスト情報取得部， １１６ 履歴処理部， １１７ 関連性情報記憶部， １１８ メインコンテンツ受信部， １１９ ユーザ使用付帯コンテンツ決定部， １２０ 付帯コンテンツ記憶部， １２１ 多重化部， １３１ メインコンテンツメタ情報取得部， １３２ 関連性情報生成部， １４１ メインコンテンツメタ情報取得部， １４２ マッチング部， １４３ コンテクスト推定部１４３ 対応付帯コンテンツ取得部， １５１ コンテクスト情報分離部， １５２ マッチング部， １５３ 類似メインコンテンツ選定部， １５４ 対応付帯コンテンツ取得部， ２０１ CPU

Claims (6)

1. 第１の種類のコンテンツと、第２の種類のコンテンツとを出力可能な情報処理装置において、
   前記第１の種類のコンテンツおよび前記第２の種類のコンテンツの特徴を取得する取得手段と、
   前記情報処理装置が出力していた前記第１の種類の出力済みのコンテンツと、前記第１の種類の出力済みのコンテンツを前記情報処理装置が出力していた時間帯において、前記第１の種類の出力済みのコンテンツと共に使用されていた第２の種類の出力済みのコンテンツとの関連を示す1以上の関連性情報からなる履歴情報を生成する履歴情報生成手段と、
   前記履歴情報生成手段により生成された前記履歴情報を１以上記憶する履歴情報記憶手段と、
   前記第２の種類のコンテンツを１以上記憶するコンテンツ記憶手段と、
   前記第１の種類の新たなコンテンツの特徴と、前記関連性情報として前記履歴情報記憶手段に記憶されている１以上の前記第１の種類の出力済みのコンテンツの特徴との類似度を演算し、前記関連性情報として前記履歴情報記憶手段に記憶されている前記第２の種類の出力済みのコンテンツのうち、前記類似度が閾値以上の前記特徴を有する前記第１の種類の出力済みのコンテンツに対応する前記第２の出力済みコンテンツを、前記第１の種類の新たなコンテンツの出力中共に出力される前記第２の種類のコンテンツとして決定する決定手段と
   を備えることを特徴とする情報処理装置。
2. 前記履歴情報生成手段は、前記第１の種類の前記出力済みのコンテンツの特徴を示す第１の特徴情報と、前記第１の種類の前記出力済みのコンテンツの出力中共に前記情報処理装置から出力されていた前記第２の種類の出力済みのコンテンツの特徴を示す第２の特徴情報とを少なくとも含む履歴情報を生成し、
   前記決定手段は、
   前記履歴情報記憶手段に記憶されている１以上の前記履歴情報のそれぞれの中から、前記第１の種類の前記新たなコンテンツの特徴を示す特徴情報と同一のまたは類似する前記第１の特徴情報を含む前記履歴情報を１以上選択し、
   選択された１以上の前記履歴情報のそれぞれに含まれている前記第２の特徴情報のそれぞれにより特定される前記第２の種類のコンテンツを、前記第１の種類の新たなコンテンツの出力中共に出力される前記第２の種類のコンテンツとして決定する
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記履歴情報生成手段は、
   前記情報処理装置のユーザのコンテクストを示すコンテクスト情報を取得するコンテクスト情報取得手段を備え、
   前記第１の種類の前記出力済みのコンテンツの特徴を示す第１の特徴情報と、前記第１の種類の前記出力済みのコンテンツの出力時点における前記ユーザのコンテクストを示す第１のコンテクスト情報とを少なくとも含む第１の履歴情報と、
   前記第２の種類の出力済みのコンテンツの特徴を示す第２の特徴情報と、前記第２の種類の前記出力済みのコンテンツの出力時点における前記ユーザのコンテクストを示す第２のコンテクスト情報とを少なくとも含む第２の履歴情報とをそれぞれ生成し、
   前記履歴情報記憶手段は、前記第１の履歴情報と前記第２の履歴情報とを記憶し、
   前記決定手段は、
   前記履歴情報記憶手段に記憶されている１以上の前記第１の履歴情報のそれぞれの中から、前記第１の種類の前記新たなコンテンツの特徴を示す特徴情報と同一のまたは類似する前記第１の特徴情報を含む前記第１の履歴情報を１以上選択し、
   選択された１以上の前記履歴情報のそれぞれに含まれている前記第１のコンテクスト情報を取得し、
   前記履歴情報記憶手段に記憶されている１以上の前記第２の履歴情報のそれぞれの中から、取得された前記第１のコンテクスト情報と同一のまたは類似する前記第２のコンテクスト情報を含む前記第２の履歴情報を１以上選択し、
   選択された１以上の前記第２の履歴情報のそれぞれに含まれている前記第２の特徴情報のそれぞれにより特定される前記第２の種類のコンテンツを、前記第１の種類の新たなコンテンツの出力中共に出力される前記第２の種類のコンテンツとして決定する
   ことを特徴とする請求項１に記載の情報処理装置。
4. ユーザに利用される前記情報処理装置以外の他のユーザが利用する他の装置から送信されてくる、前記他のユーザのコンテクストを示す第１のコンテクスト情報が付加された前記第１の種類のコンテンツを受信する受信手段をさらに備え、
   前記履歴情報生成手段は、
   前記情報処理装置のユーザのコンテクストを示すコンテクスト情報を取得するコンテクスト情報取得手段を備え、
   前記第１の種類の前記出力済みのコンテンツの特徴を示す第１の特徴情報と、前記第１の種類の前記出力済みのコンテンツの出力時点における前記ユーザのコンテクストを示す第２のコンテクスト情報とを少なくとも含む第１の履歴情報と、
   前記第１の種類の前記出力済みのコンテンツの特徴を示す第１の特徴情報と、前記第１の種類の前記出力済みのコンテンツの出力中共に前記情報処理装置から出力されていた前記第２の種類の出力済みのコンテンツの特徴を示す第２の特徴情報とを少なくとも含む第２の履歴情報とをそれぞれ生成し、
   前記履歴情報記憶手段は、前記第１の履歴情報と前記第２の履歴情報とを記憶し、
   前記決定手段は、
   前記履歴情報記憶手段に記憶されている１以上の前記第１の履歴情報のそれぞれの中から、前記受信手段により受信された前記第１の種類の前記新たなコンテンツに付加されている前記第１のコンテクスト情報と同一のまたは類似する前記第２のコンテクスト情報を含む前記第１の履歴情報を１以上選択し、
   選択された１以上の前記履歴情報のそれぞれに含まれている前記第１の特徴情報を取得し、
   前記履歴情報記憶手段に記憶されている１以上の前記第２の履歴情報のそれぞれの中から、取得された前記第１の特徴情報と同一のまたは類似する前記第２の特徴情報を含む前記第２の履歴情報を１以上選択し、
   選択された１以上の前記第２の履歴情報のそれぞれに含まれている前記第２の特徴情報のそれぞれにより特定される前記第２の種類のコンテンツを、前記第１の種類の新たなコンテンツの出力中共に出力される前記第２の種類のコンテンツとして決定する
   ことを特徴とする請求項１に記載の情報処理装置。
5. 第１の種類のコンテンツと、第２の種類のコンテンツとを出力可能であって、
   前記第１の種類のコンテンツおよび前記第２の種類のコンテンツの特徴を取得する取得手段と、
   前記第２の種類のコンテンツを１以上記憶する第１の記憶手段と、
   履歴情報を記憶する第２の記憶手段と
   を備える情報処理装置の情報処理方法において、
   前記情報処理装置が出力していた前記第１の種類の出力済みのコンテンツと、前記第１の種類の出力済みのコンテンツを前記情報処理装置が出力していた時間帯において、前記第１の種類の出力済みのコンテンツと共に使用されていた第２の種類の出力済みのコンテンツとの関連を示す1以上の関連性情報からなる前記履歴情報を生成する履歴情報生成ステップと、
   前記履歴情報生成ステップの処理により前記履歴情報が生成される毎に、その履歴情報を前記第２の記憶手段に記憶させることを制御する履歴情報記憶制御ステップと、
   前記第１の種類の新たなコンテンツの特徴を取得する取得ステップと、
   前記第１の種類の新たなコンテンツの特徴と、前記関連情報として前記第２の記憶手段に記憶されている１以上の前記第１の種類の出力済みのコンテンツの特徴との類似度を演算し、前記関連性情報として前記履歴情報記憶手段に記憶されている前記第２の種類の出力済みのコンテンツのうち、前記類似度が閾値以上の前記特徴を有する前記第１の種類の出力済みのコンテンツに対応する前記第２の出力済みコンテンツを、前記第１の種類の新たなコンテンツの出力中共に出力される前記第２の種類のコンテンツとして決定する決定ステップと
   を含むことを特徴とする情報処理方法。
6. 第１の種類のコンテンツと、第２の種類のコンテンツとを出力可能であって、
   前記第１の種類のコンテンツおよび前記第２の種類のコンテンツの特徴を取得する取得手段と、
   前記第２の種類のコンテンツを１以上記憶する第１の記憶手段と、
   履歴情報を記憶する第２の記憶手段と
   を備えるコンテンツ出力装置を制御するコンピュータが実行するプログラムであって、
   前記情報処理装置が出力していた前記第１の種類の出力済みのコンテンツと、前記第１の種類の出力済みのコンテンツを前記情報処理装置が出力していた時間帯において、前記第１の種類の出力済みのコンテンツと共に使用されていた第２の種類の出力済みのコンテンツとの関連を示す1以上の関連性情報からなる前記履歴情報を生成する履歴情報生成ステップと、
   前記履歴情報生成ステップの処理により前記履歴情報が生成される毎に、その履歴情報を前記第２の記憶手段に記憶させることを制御する履歴情報記憶制御ステップと、
   前記第１の種類の新たなコンテンツの特徴を取得する取得ステップと、
   前記第１の種類の新たなコンテンツの特徴と、前記関連情報として前記第２の記憶手段に記憶されている１以上の前記第１の種類の出力済みのコンテンツの特徴との類似度を演算し、前記関連性情報として前記履歴情報記憶手段に記憶されている前記第２の種類の出力済みのコンテンツのうち、前記類似度が閾値以上の前記特徴を有する前記第１の種類の出力済みのコンテンツに対応する前記第２の出力済みコンテンツを、前記第１の種類の新たなコンテンツの出力中共に出力される前記第２の種類のコンテンツとして決定する決定ステップと
   を含むことを特徴とするプログラム。

Images