以下に説明する本発明が適用される情報処理装置は、ユーザがその情報処理装置を操作することでメール等のコンテンツを使用(作成や閲覧)していた場合、その文章の内容やユーザ操作の内容に基づいて、ユーザの感情の種類や度合いを推定する機能を有している。
コンテンツの使用とは、本明細書では、ユーザが情報処理装置を操作することで、情報処理装置にそのコンテンツに対する所定の処理を実行させることを指す。
より正確には、情報処理装置は、コンテンツそのものではなくそのコンテンツを構成するデータ、即ち、コンテンツデータに対して所定の処理を施す。ただし、以下、コンテンツとコンテンツデータとを個々に区別する必要がない場合、まとめてコンテンツと称する。
また、本明細書においては、コンテンツとは、一般的にコンテンツと称されている、テレビジョン放送番組、映画、写真、楽曲等(動画像、静止画像、若しくは音声、または、それらの組合せ等)の他、文書、商品(物品含)、会話等のユーザが使用可能なソフトウエアまたはハードウエアの全てを指す広い概念である。
ただし、コンテンツが物品(ハードウエア)の場合、例えば、その物品が動画像や静止画像等に射影されてデータ化されたものが、コンテンツデータとして使用される。
また、コンテンツが文章で構成される場合、以下、そのようなコンテンツを、テキストコンテンツと称する。この場合、その文章の作成、編集(更新)、削除、送受信、および記憶(フォルダ等への移動)等の操作をユーザが行うことで、対応する処理を情報処理装置に実行させることを、(テキスト)コンテンツの使用と称する。
その他の各種用語についても、本明細書では次のようにそれぞれ定義される(称される)。
即ち、メール等のテキストコンテンツを取り扱うことが可能なアプリケーションソフトウエアを、以下、テキストコミュニケーションソフトウエアと称する。例えば、テキストコミュニケーションソフトウエアには、メールの使用機能を有するアプリケーションソフトウエア(以下、メーラと称する)、ワードプロセッサ機能を有するアプリケーションソフトウエア(以下、ワープロソフトと称する)、いわゆるブラウザ機能を有するアプリケーションソフトウエア(以下、ブラウザと称する)、いわゆるチャット機能を有するアプリケーションソフトウエア(以下、チャットソフトと称する)等が含まれる。
また、ユーザが抱く感情の種類と度合いとのうちの少なくとも一方で示される状態を、以下、感情状態と称する。
コンテンツを使用した時点またはその前後のユーザの感情状態を推定するために情報処理装置が利用可能な情報を、以下、素材と称する。素材としては、例えばユーザの操作対象のコンテンツに関する情報や、ユーザの操作の内容を示す情報が利用可能である。具体的には例えば、図1の「素材」の項目に示されるような情報が利用可能である。
即ち、図1の「素材」の項目に示されるように、例えば、テキストコンテンツの一つである文章の内容(例えば単語等)は、素材として利用可能である。ユーザの操作対象のコンテンツに関する情報のひとつと言えるからである。
例えばいま、「新年会」という単語と、「期待、楽しい」という種類の感情とが予め対応付けられているとする。即ち、「新年会」という単語について、ユーザが「期待、楽しい」という種類の感情を抱くことが多いことが予めわかっているとする。この場合、新たな文章中にも「新年会」という単語が登場すれば、その新たな文章を使用している時点またはその前後のユーザの感情の種類として「期待、楽しい」を推定するこが容易にできる。なお、図1に記載されている「感情辞書」、および「マッチング用」の区別については後述する。
なお、文章の内容には、その文章に含まれている単語の他、文章の全体的な傾向や特徴を示す情報、例えば、文章の長さを示す情報も含まれる。「度合い判定」の項目に示されるように、例えば文章が短い場合、具体的には例えば、受信メールに対する返信メールが短い文章であるような場合、感情の度合いが弱い(同じ種類の感情を抱いたにしても、抱く度合いが低い)と判定できるからである。
例えば、テキストコミュニケーションソフトウエアとしてメーラが利用されている場合、そのメーラで取り扱っているメールをやり取りしている相手(ユーザから見ての相手であって、以下、図1の記載にあわせて、メール相手と称する)、具体的には例えば、「飲み仲間のAさん」は、素材として利用可能である。ユーザの操作対象のコンテンツに関する情報のひとつと言えるからである。
例えば、テキストコミュニケーションソフトウエアで取り扱っている文章(データ)が移動(保存)されたフォルダ(以下、移動先フォルダと称する)、例えば、「同窓会フォルダ」といった特定のフォルダは、素材として利用可能である。ユーザの操作内容を示す情報、即ち、移動先フォルダへの移動操作を示す情報のひとつであると言えるからである。或いは、ユーザの操作の介在がなく情報処理装置自身の判断で文章が移動先フォルダに移動された場合には、ユーザの操作対象のコンテンツに関する情報のひとつと捉えることができるからである。
例えば、テキストコミュニケーションソフトウエアを利用した各種処理をユーザ装置1に実行させるために必要なユーザ操作の内容は、素材として利用可能である。ユーザの操作内容を示す情報そのものであるからである。
具体的には例えばいま、テキストコミュニケーションソフトウエアとしてメーラが利用されており、メールの「削除」という操作と、「不快」という感情状態とが予め対応付けられているとともに、メールの「返信」という操作と、「快」という感情状態とが予め対応付けられているとする。即ち、ユーザの操作傾向として、「不快」と感じる受信メールは削除する(メール相手に返信しない)ことが多く、その一方で、「快」と感じる受信メールに対してはメール相手に返信することが多いことが予めわかっているとする。この場合、新たな受信メールが削除されれば、ユーザのその「削除」の操作時点またはその前後の感情状態は「不快」であると推定することが容易にできる。同様に、新たな受信メールに対する返信メールがメール相手に送信されれば、ユーザのその「返信」の操作時点またはその前後の感情状態は「快」であると推定することが容易にできる。
なお、ユーザ操作の内容には、ユーザ操作の時間情報も含む。「度合い判定」の項目に示されるように、例えば第1の操作から第2の操作までの所要時間が「すぐ」の場合、具体的には例えば、受信メールに対して直ちに返信メールがメール相手に送信されたような場合、感情の度合いが強い(同じ種類の感情を抱いたにしても、抱く度合いが高い)と判定できるからである。
さらに、ユーザが直接入力した感情状態自体を示す情報も、素材として適用可能である。具体的には例えば、ユーザが嬉しいと感じた場合に押下される釦(以下、「嬉しい」釦と称する)がユーザ装置1に設けられていれば、「嬉しい」釦の押下操作も素材として利用可能である。ユーザの操作内容を示す情報のひとつであると言えるからである。
以上、素材として利用可能な情報の具体例について説明したが、素材として利用可能な情報は、上述した例(図2に示される例)に限定されないことは言うまでもない。
ところで、上述したように、感情状態とは、感情の種類と、感情の度合いとのうちの少なくとも一方を示す情報である。即ち。図2の「感情状態」の項目に示されるように、「感情の度合い」単体、「感情の種類」単体、および、それらの組み合わせは、それぞれ感情状態の1形態である。また、「快/不快」も感情状態(正確には種類)の1形態であり、「快」を例えばプラス(+)で表し、「不快」を例えばマイナス(−)で表し、その「快」または「不快」の度合いを数値(絶対値)で表すことで、感情の種類と度合いの組み合わせからなる感情状態(「快」または「不快」とその度合いとを示す状態)を正負の数値で表すこともできる。
以上定義した語句等を利用して、本発明が適用される情報処理装置が有する上述した機能を言い換えると次のようになる。即ち、本発明が適用される情報処理装置は、所定のコンテンツに対する各種処理をユーザ操作に基づいて実行していた場合、その所定のコンテンツに関する情報やユーザ操作に関する情報を素材として取得し、それらの各種素材に基づいてユーザの感情状態を推定する機能を有している。
さらに必要に応じて、本発明が適用される情報処理装置は、次のような機能を有することもできる。即ち、推定された感情状態に基づいて、ユーザに対する呈示内容を決定するとともに、その呈示についての演出内容を決定する機能である。この機能により実現される具体例については、図1の「呈示/演出」の項目に幾つか示されている。ただし、これらの具体例の説明については後述する。
かかる機能を有する情報処理装置、即ち、本発明が適用される情報処理装置の機能的構成例が図2に示されている。そこで、以下、図2を参照して、本発明が適用される情報処理装置の機能的構成例について説明する。
なお、以下、本発明が適用される情報処理装置のうちの、特定のユーザが操作対象として利用する情報処理装置をユーザ装置と称する。
また、その特定のユーザにとってのメール相手等を他のユーザと称する。なお、他のユーザには、図示せぬサーバの管理者等も含む。即ち、本明細書においては、ユーザから見た場合の他者全体を、他のユーザと称する。また、他のユーザが操作対象として利用する情報処理装置を他ユーザ装置と称する。即ち、いわゆるサーバも他ユーザ装置に含まれる。
なお、他のユーザから見た場合には、他ユーザ装置として、本発明が適用される情報処理装置が採用されていることが望ましいが、本発明が適用されるユーザ装置を利用するユーザから見た場合には、他ユーザ装置として、従来の情報処理装置が採用されていても構わない。
ところで、図2に示されるように、ユーザ装置1は、他ユーザ装置3と所定のネットワーク2を介して相互に接続されている。なお、ネットワーク2の形態は特に限定されない。また、図2の例では、他ユーザ装置3しか図示されていないが、当然ながら、ネットワーク2に接続されている情報処理装置のうちのユーザ装置1を除く全てが他ユーザ装置となり得る。
ユーザ装置1には、テキストコミュニケーションソフトウエア実行部11乃至通信制御部24が設けられている。テキストコミュニケーションソフトウエア実行部11乃至通信制御部24のそれぞれは、構成が可能であれば、ソフトウエア単体で構成してもよいし、ハードウエア単体で構成してもよいし、或いは、それらの組合せでもよい。
テキストコミュニケーションソフトウエア実行部11は、1以上のテキストコミュニケーションソフトウエアのうちのユーザにより指定されたもの(操作部12からの指令に対応するもの)を起動する。そして、テキストコミュニケーションソフトウエア実行部11は、起動されている1以上のテキストコミュニケーションソフトウエアのそれぞれに対して各種処理をユーザの操作部12の操作に基づいて実行する。また、テキストコミュニケーションソフトウエア実行部11は、その処理結果を呈示部21からユーザに適宜呈示する。
換言すると、テキストコミュニケーションソフトウエア実行部11は、起動されているテキストコミュニケーションソフトウエアを利用して、所定のテキストコンテンツに対するユーザ操作に基づく各種処理を実行する。
なお、テキストコミュニケーションソフトウエア実行部11は、複数のテキストコミュニケーションソフトウエアを同時に実行であるが、ここでは、説明の簡略上、1つのテキストコミュニケーションソフトウエア(例えばメーラ)1つのみを実行するとする。
この場合、テキストコミュニケーションソフトウエア実行部11は、例えばメーラを起動しているときには、次のような処理を実行することになる。即ち、テキストコミュニケーションソフトウエア実行部11は、他ユーザ装置3等からネットワーク2を介してメールが送信されてきた場合、そのメールを通信制御部24を介して受信する。さらに、受信メールの閲覧指示が操作部12から入力された場合には、テキストコミュニケーションソフトウエア実行部11は、その受信メールの内容(文章やメール相手のアドレス等)を画像として呈示部21からユーザに呈示する。
さらに、受信メールのフォルダ移動指示(同窓会フォルダ等の特定フォルダへの移動の指示)が操作部12から入力された場合には、テキストコミュニケーションソフトウエア実行部11は、その受信メールを指示されたフォルダに保存する(移動する)。
また、メールの作成指示が操作部12から入力され、メールの内容(宛先や文章を示すテキスト)が順次操作部12から入力されてくる場合には、テキストコミュニケーションソフトウエア実行部11は、メールの内容をテキストデータに順次変換していくことで1つのメールを作成していく。この間、テキストコミュニケーションソフトウエア実行部11は、作成中のメールの内容を画像として呈示部21からユーザに呈示する。そして、テキストコミュニケーションソフトウエア実行部11は、メールの作成が終了すると、その作成済みのメールを所定のフォルダ(送信箱フォルダ等)に保存する。
その後、作成済みメールの送信指示が操作部12からさらに入力された場合には、テキストコミュニケーションソフトウエア実行部11は、作成済みメールを、通信制御部24とネットワーク2を介して、その作成済みメールの宛先(他ユーザ装置3等)に送信する。
操作部12は、例えば、キーボード、マウス、その他入力インタフェースで構成される。ユーザは操作部12を操作することで、様々な情報をユーザ装置1に入力させることができる。具体的には例えば、上述したように、ユーザは、操作部12を利用することで、テキストコンテンツの使用操作(送受信、閲覧、作成等の操作)を行うことができる。即ち、操作部12は、ユーザの各種操作に対応する情報(上述した各種指示の他、テキストコンテンツ、即ち、文章に含ませる文字情報も含む)をテキストコミュニケーションソフトウエア実行部11に入力させることができる。
さらに、操作部12には、上述した「嬉しい」釦等で構成される感情入力部41が設けられている。これにより、ユーザは感情入力部41を操作することで、ユーザの現時点またはその前後の感情状態を、ユーザの主観的な判断でユーザ装置1(正確には、後述する素材取得部13の感情取得部33)に直接入力させることができる。
素材取得部13は、操作部12の操作(ユーザ操作)に基づく所定のテキストコンテンツに対する処理がテキストコミュニケーションソフトウエア実行部11により実行されている場合、上述したような各種情報を素材として取得し、感情度合推定部14、感情状態推定部16、および感情辞書更新部18のうちの少なくとも1つに供給する。
詳細には、素材取得部13には、文章解析部31乃至感情取得部33が設けられている。
文章解析部31は、ユーザの操作対象のテキストコンテンツ(文章)、即ち、テキストコミュニケーションソフトウエア実行部11の処理対象のテキストコンテンツを解析し、その解析結果を感情度合推定部14、感情状態推定部16、および感情辞書更新部18のうちの少なくとも1つに供給する。
例えばいまの場合、ユーザの操作対象のテキストコンテンツ、即ち、テキストコミュニケーションソフトウエア実行部11の処理対象のテキストコンテンツがメールの場合、文章解析部31は、メールの内容(送信元、宛先、送信時刻、題名、本文等)を解析することでそのメールに登場している1以上の単語を抽出し、それらの単語を素材の1つとして感情度合推定部14、感情状態推定部16、および感情辞書更新部18のうちの少なくとも1つに供給することができる。
また、例えば、文章解析部31は、メール全体の傾向や特徴を示す情報、例えば、メールの本文の長さを示す情報を生成し、その情報を素材の1つとして感情度合推定部14、感情状態推定部16、および感情辞書更新部18のうちの少なくとも1つに供給することもできる。
また、例えば、文章解析部31は、メールの宛先や送信元からユーザのメール相手(他のユーザ)を特定し、そのメール相手を素材の1つとして感情度合推定部14、感情状態推定部16、および感情辞書更新部18のうちの少なくとも1つに供給することもできる。
また、例えば、文章解析部31は、受信メールに含まれる(送信)時刻と、その受信メールに対する返信メールに含まれる(送信)時刻とに基づいて、ユーザ操作の時間情報、具体的には例えば、受信メールが受信されてから返信メールが送信されるまでの所有時間を示す時間情報を生成し、その情報を素材の1つとして感情度合推定部14、感情状態推定部16、および感情辞書更新部18のうちの少なくとも1つに供給することもできる。
なお、ユーザの操作の時間情報は、操作内容観察部32でも生成可能である。即ち、操作内容観察部32は、操作部12からの入力情報や、その操作部12からの入力情報に対応するテキストコミュニケーションソフトウエア実行部11の処理内容に基づいて、ユーザ操作の時間情報の他、ユーザ操作の各種内容を示す情報をそれぞれ生成することができる。そして、操作内容観察部32は、そのようにして生成された情報を素材の1つとして感情度合推定部14、感情状態推定部16、および、感情辞書更新部18のうちの少なくとも1つに供給することができる。
感情取得部33は、感情入力部41の入力内容(ユーザの操作結果)から現時点またはその前後のユーザの感情状態を取得し、それを素材の1つとして感情度合推定部14、感情状態推定部16、および感情辞書更新部18のうちの少なくとも1つに供給することができる。
感情度合推定部14は、このようにして素材取得部13から各種素材が供給されると、それらの各種素材に基づいて、現時点またはその前後のユーザの感情状態のうちの感情の度合いを推定し、その推定結果を感情状態推定部16に供給する。このとき、感情度合推定部16は、度合判定基準記憶部15に記憶されている度合い判定基準(例えば後述する図5参照)を参照して、現時点またはその前後のユーザの感情の度合いを推定する。なお、度合判定基準記憶部15に記憶されている度合い判定基準や、その判定基準に基づく感情度合い判定部14の処理の詳細については後述する。
感情状態推定部16は、現時点またはその前後のユーザの感情状態を推定し、その推定結果を演出内容/呈示内容決定部19に供給するとともに、必要に応じて感情辞書更新部18にも供給する。このとき、感情度合推定部14の推定結果(素材取得部13から供給される素材に基づいて推定された現時点またはその前後のユーザの感情の度合い)、感情辞書記憶部17に記憶されている感情辞書(例えば後述する図6参照)、および、素材取得部13から供給される各種素材のうちの少なくとも1つに基づいて、現時点またはその前後のユーザの感情状態が感情状態推定部16により推定される。
このように、感情状態推定部16は、様々な情報(素材そのものや、素材に基づいて生成された情報等)に基づいて現時点またはその前後のユーザの感情状態を推定することができる。従って、その推定処理に利用される情報の種類によって、ユーザの感情状態の推定手法として様々な手法が存在することになるが、それらの各種手法の具体例については後述する。
感情辞書記憶部17は、例えば、後述する図6に示されるような感情辞書を記憶する。感情辞書とは、感情状態と、素材に成り得る情報との対応関係を示す情報を指す。従って、感情辞書の形態は特に図6の例に限定されない。具体的には例えば、後述するように、各単語のそれぞれに対して、重み値(正負で「快/不快」といった種類が表され、絶対値で度合いが表される情報)が与えられた情報も感情辞書の一形態である。ただし、このような感情辞書は、一般的な感情辞書とは異なる形態の情報であるので、後述するように、特に興味プロファイルと称される。
また、詳細については後述するが、度合い判定基準も、結局、感情の度合いと、素材に成り得る情報との対応関係を示す情報であることから、感情辞書の一形態であるとも言える。ただし、興味プロファイルと同様の理由で、ここでは、度合判定基準記憶部15に記憶され、感情度合推定部14に利用される対応関係情報(感情辞書の別称)を、引き続き度合い判定基準と称して説明していく。
感情辞書更新部18は、感情辞書記憶部17に記憶されている感情辞書の内容を更新する。このとき、素材取得部13により取得された各種素材、ユーザが操作部12を操作して直接入力した各種情報、および、感情状態推定部16により推定された感情状態のうちの少なくとも1つに基づいて、感情辞書記憶部17に記憶されている感情辞書の内容が感情辞書更新部18により更新される。
演出内容/呈示内容決定部19は、感情状態推定部16により推定された感情状態と、演出ルール/呈示ルール記憶部20に記憶されたルール(そのルールを示す情報)とに基づいて、ユーザに対する呈示内容を決定するとともに、その呈示についての演出内容を決定する。そして、演出内容/呈示内容決定部19は、決定された呈示内容を、決定された演出内容で演出しながら、呈示部21からユーザに呈示する。
呈示部21は、例えば表示装置で構成され、テキストコミュニケーションソフトウエア実行部11または演出内容/呈示内容決定部19から供給される各種情報を画像として表示する。呈示部21は、例えば音声装置で構成され、テキストコミュニケーションソフトウエア実行部11または演出内容/呈示内容決定部19から供給される各種情報を音声として出力する。或いは、呈示部21は、例えば表示装置と音声装置との組合せで構成される。
なお、演出内容/呈示内容決定部19が決定する呈示内容や演出内容は特に限定されないが、図2の例では、テキストコミュニケーションソフトウエア実行部11により実行されているテキストコミュニケーションソフトウエア(いまの場合メーラ)の関連情報、または、そのテキストコミュケーションソフトウエアが扱っているテキストコンテンツ(いまの場合、メール)の関連情報等とされている。このため、図2の例のユーザ装置1には、関連情報検索部22と関連情報記憶部23とが設けられている。
即ち、演出内容/呈示内容決定部19は、呈示内容として決定された関連情報を取得するために、その関連情報を特定可能な情報(例えば、関連情報の名称や存在場所等)を関連情報検索部22に供給する。
すると、関連情報検索部22は、関連情報記憶部23に予め記憶されている関連情報の中から、演出内容/呈示内容決定部19から供給された情報で特定される関連情報を検索して取得し、演出内容/呈示内容決定部19に供給する。
なお、関連情報検索部22は、関連情報記憶部23に予め記憶されている関連情報の中に、演出内容/呈示内容決定部19から供給された情報で特定される関連情報が存在しない場合、通信制御部24を介してネットワーク2に接続されている他の装置(他ユーザ装置3等)からその情報で特定される関連情報を検索して取得し、関連情報記憶部23に追加して記憶させるとともに、演出内容/呈示内容決定部19に供給することもできる。
また、関連情報検索部22は、演出内容/呈示内容決定部19とは独立して操作部12から各種情報が入力された場合にも、それらの情報で特定される関連情報を、通信制御部24を介してネットワーク2に接続されている他の装置(他ユーザ装置3等)から検索して取得し、関連情報記憶部23に追加して記憶させることもできる。
このようにして、関連情報記憶部23には、1以上の関連情報が記憶される。なお、関連情報検索部22が対象の関連情報を容易に検索できるように、1以上の関連情報のそれぞれと、それらを特定可能な情報のそれぞれと対応付けられて、関連情報記憶部23に記憶されていてもよい。
なお、関連情報の検索(抽出)手法は当然ながら上述した例に限定されず、その他例えば、本願出願人により出願されて開示された特開2003−242173号公報に示される手法を利用することもできる。
通信制御部24は、ネットワーク2を介する他の装置(図示せぬサーバや他ユーザ装置3等)との通信を制御する。
以上、図2を参照して、ユーザ装置1の機能的構成例について説明した。
次に、図3のフローチャートを参照して、図2のユーザ装置1が実行する処理のうちの、ユーザの感情状態を推定してから、その感情状態に適した関連情報をその感情状態に適した演出内容でユーザに呈示する(推薦する)までの一連の処理(以下、関連情報推薦処理と称する)について説明する。
例えばいま、ユーザの図2の操作部12による操作に基づいて、テキストコミュニケーションソフトウエア実行部11により所定のテキストコミュニケーションソフトウエア(いまの場合、メーラ)が実行され、所定の文章が取り扱われているとする。
この場合、ステップS1において、素材取得部13は、上述したような各種素材を取得し、感情度合推定部14や感情状態推定部16に供給される。なお、感情辞書更新部18にも素材は供給されるが、感情辞書更新部18の処理と関連情報推薦処理とは相互に独立した処理とされているため、関連情報推薦処理の説明内では感情辞書更新部18については言及しない。
ステップS2において、感情度合推定部14と感情状態推定部16は、供給された各種素材に基づいて、現時点またはその前後のユーザの感情状態(種類と度合いのうちの少なくとも一方)を推定し、その推定結果を示す情報(以下、ユーザ感情状態情報と称する)を演出内容/呈示内容決定部19に供給する。なお、以下、このようなステップS2の処理を、ユーザ感情状態推定処理と称する。ユーザ感情状態推定処理には様々なパターンの処理が存在し、それらのうちの幾つかのパターンの処理(具体例)については、図4以降の図面を参照して後述する。
ステップS3において、演出内容/呈示内容決定部19は、感情状態推定部16から出力されたユーザ感情状態情報(推定された現時点またはその前後のユーザの感情状態)に基づいて、推薦すべき関連情報(呈示内容)を決定するとともに、その呈示についての演出内容を決定する。
そして、ステップS4において、呈示部21は、ステップS3の処理で決定された関連情報を、決定された演出内容で演出しながら呈示する。
具体的には例えば、ステップS3の処理で決定されて、ステップS4の処理で呈示される関連情報(呈示内容)やその演出内容の一例が、上述した図1の「呈示/演出」の項目に示されている。そこで、図1の「呈示/演出」の項目に示されている、関連情報(呈示内容)や演出内容の一例について説明する。
図1の「呈示/演出」の項目に示されるように、例えば関連情報の一例として、BGM(Back Ground Music)やBGV(Back Ground Visual)を利用することができる。ユーザの感情状態によって、BGMやBGVが変わることが多いからである。
即ち、例えばいま、ユーザの過去の履歴(BGVやBGMの試聴履歴)から生成された情報であって、各感情状態のそれぞれと、対応する感情状態のときにユーザが好んで(多く)視聴していたBGMやBGVの名称とが対応付けられた情報が、呈示ルールの一つとして演出ルール/呈示ルール記憶部20に記憶されているとする。
このような場合、ステップS3において、演出内容/呈示内容決定部19は、その呈示ルール(情報)から、感情状態推定部16から出力されたユーザ感情状態情報が示す感情状態に対応付けられたBGMやBGVの名称を取得し、関連情報検索部22に供給する。
関連情報検索部22は、供給された名称のBGVやBGMを、関連情報記憶部23またはネットワーク2上の他の装置(他ユーザ装置3等)から取得し、演出内容/呈示内容決定部19を介して呈示部21に供給する。
すると、ステップS4において、呈示部21は、そのBGVやBGMをユーザに呈示する。即ち、呈示部21は、BGVを表示させたりBGMを流す。
また、図1の「呈示/演出」の項目に示されるように、例えば関連情報の一例として、事前お知らせを利用することができる。事前お知らせとは、例えばユーザが受信メールを閲覧するといった所定の操作が行われる前にユーザに呈示される情報であって、上述したBGVやBGMの他、アイコンやテキスト、報知音などによるメッセージ等を利用することができる。
具体的には例えば、素材取得部13は、受信メールに含まれる各単語を素材として取得し、感情状態推定部16に供給する。感情状態推定部16は、素材として供給されたその受信メールに含まれる各単語に基づいて、ユーザがその受信メールを閲覧した場合の(未来の)感情状態を推定する。
そこで、ステップS3において、演出内容/呈示内容決定部19は、感情状態推定部16により推定された感情状態を示すBGMやBGV等を、事前お知らせ(関連情報の1つ)として決定することができる。
すると、ステップS4において、呈示部21は、ユーザが受信メールを閲覧する前に(即ち、受信メールの内容を呈示する前に)、事前お知らせをユーザに呈示する。
これにより、ユーザは、受信メールを閲覧する前に、その受信メールの内容等を想像することができる。即ち、ユーザは、その受信メールを閲覧するときに抱くであろう感情状態を、その閲覧前に事前に察知することができる。
以上、関連情報の一例について説明した。次に、演出内容の一例について説明する。
即ち、図1の「呈示/演出」の項目に示されるように、例えば演出内容の一例として、「推薦あり、なし」を利用することができる。
即ち、例えばいま、ユーザの過去の履歴から生成された情報であって、各感情状態のそれぞれと、推薦ありまたはなしとが対応付けられた情報が、演出内容ルールの一つとして演出ルール/呈示ルール記憶部20に記憶されているとする。
このような場合、ステップS3において、演出内容/呈示内容決定部19は、その演出内容ルール(情報)から、感情状態推定部16から出力されたユーザ感情状態情報が示す感情状態に対応付けられた「推薦あり」または「推薦なし」を取得する。即ち、演出内容/呈示内容決定部19は、「推薦あり」を取得した場合には、推薦すべき関連情報を呈示することを決定する。これに対して、演出内容/呈示内容決定部19は、「推薦なし」を取得した場合には、推薦すべき関連情報を呈示しないことを決定する。なお、後者の場合、ステップS4の処理は省略される。
その他、図1の「呈示/演出」の項目に示されるように、例えば演出内容の一例として、「推薦積極性(例えば、地味or派手)」、「表示フィルタリング」、「タイミング調整」、および、「優先順位」などを利用することができる。
これらの演出内容が利用された場合にも、ユーザの過去の履歴から生成された情報であって、各感情状態のそれぞれと、対応する演出内容とが対応付けられた情報が、演出内容ルールの一つとして演出ルール/呈示ルール記憶部20に記憶されていれば、「推薦あり、なし」と全く同様に、ステップS3の処理で、感情状態推定部16から出力されたユーザ感情状態情報が示す感情状態に対応付けられた演出内容がその演出ルールから取得され、推薦すべき関連情報(呈示内容)の演出内容として決定される。
以上、ステップS4の処理結果の様々な具体例について説明した。このようなステップS4の処理が終了すると、関連情報推薦処理は終了となる。
次に、図4以降の図面を参照して、ステップS2のユーザ感情状態推定処理の具体例について幾つか説明する。
はじめに、図4のフローチャートを参照して、ユーザと他のユーザとの間でやりとりしているテキストコンテンツ(ここではメール)に含まれる単語と、操作の時間間隔によって、ユーザの感情状態を推定する「ユーザ感情状態推定処理」について説明する。
具体的には、例えばいま、ユーザが操作部12を操作して、他のユーザから送信されたメールを受信して閲覧し、その受信メールに対する返信メールを作成して他のユーザに送信したとする。即ち、そのような一連のユーザ操作に対応する処理を、テキストコミュニケーションソフトウエア実行部11が実行したとする。
この場合、図3のステップS1の処理で、例えば、文章解析部31により受信メールや返信メールの内容に含まれる各単語が素材の一つとして取得されるとともに、操作内容観察部32により、メールを受信してから返信メールを送信するまでの期間におけるユーザ操作の内容(例えば、その期間を示す時間情報)が素材の一つとして取得される。
このような各種素材が、素材取得部13から感情度合推定部14と感情状態推定部16に供給されると、ステップS2のユーザ感情状態推定処理として、例えば図4のフローチャートに従った処理が実行される。
即ち、ステップ11において、感情度合推定部14は、メールを受信してから返信メールを送信するまでのユーザ操作の内容(操作内容観察部32から供給された素材)に基づいて、ユーザの感情の度合い(レベル)を推定する。
例えばいま、度合判定基準記憶部15に、図5に示されるような度合い判定基準が記憶されていたとする。即ち、図5は、度合い判定基準の一例を示している。図5において、反応までの経過時間とは、ここでは、メールが受信されてから返信メールが送信されるまでの所要時間を指し、上述したように、操作内容観察部32により素材の一つとして取得される情報が示す時間を指す。
図5の度合い判定基準によると、メールが受信されてから返信メールが送信されるまでの所要時間が短ければ短いほど、メール相手に対する関心が強いとみなされて、ユーザの感情の度合い(レベル)が強いと判定される。
このような場合、図4のステップS11において、感情度合推定部14は、図5の度合い判定基準と、操作内容観察部32から供給された時間情報(反応までの経過時間に相当する情報)とを照らし合わせて、ユーザの感情の度合い(レベル)を推定する。推定されたユーザの感情の度合いは、感情状態推定部16に供給される。
次に、ステップS12において、感情状態推定部16は、受信メールや返信メールに含まれる文章(それに含まれる各単語であって、文章解析部31から供給された素材)に基づいて、ユーザの感情の種類を推定する。
例えばいま、感情辞書記憶部17に、図6に示されるような感情辞書が記憶されていたとする。即ち、図6は、感情辞書の一例を示している。図6において、「感情」の項目には、感情の種類が記されており、「単語」の項目には、対応する感情の種類に関連付けられた1以上の単語が記されている。例えば、上から2つ目の「落胆」という感情の種類には、「がっかり」、「残念」、「今度こそ」等が関連付けられていることになる。
なお、このように、所定の感情の種類に対応付けられている単語は、その所定の感情の種類を示す単語であると言える。そこで、以下、所定の感情の種類に対応付けられている単語を感情語と称する。
所定の感情の種類を示す感情語として、予め決定されている単語が使用されてもよいし、感情辞書更新部18が次のような処理を実行した結果得られる単語が使用されてもよい。即ち、初期の学習段階で、ユーザが操作部12の感情入力部41を操作して文書(学習用の文章)ごとに該当する感情状態を入力し、感情辞書更新部18が、各文章と感情状態(ユーザの入力内容)との関係を学習して、所定の感情の種類に1以上の感情語を分類し、その分類結果に基づいて感情辞書を更新する処理(感情辞書自体が存在しない場合には、それを感情辞書として生成する処理)を行ってもよい。
なお、感情語の分類手法は特に限定されず、様々な手法を適用することができる。例えば、次のような手法を適用することができる。即ち、はじめに、感情の各種類のそれぞれを示すタグを作成しておく。次に、学習用の文章から感情語を抽出する。そして、抽出された各感情語のそれぞれを、各タグに基づいて所定の感情の種類に分類する手法である。
このような場合、図4のステップS12において、感情状態推定部16は、文章解析部31から素材として供給された各単語(受信メールや返信メールに含まれる単語)と、図6の感情辞書に含まれる感情語とのマッチングを行う。そして、感情状態推定部16は、素材とマッチした感情語が示す感情の種類を、ユーザの感情の種類であると推定する。
そして、ステップS13において、感情状態推定部16は、ステップS12の処理で推定されたユーザ感情の種類と、ステップS11の処理で推定されたユーザ感情の度合い(レベル)とを組み合わせた情報を生成し、その情報をユーザ感情状態情報として演出内容/呈示内容決定部19に出力する。
これにより、図4のユーザ感情状態推定処理が終了となり、即ち、図3のステップS2の処理が終了となり、処理はステップS3に進むことになる。
より具体的には、例えば、いま、ユーザが操作部12を操作して、他のユーザから送信された図7に示されるようなメールを受信して閲覧し、図7の受信メールに対する返信メールとして図8に示されるようなメールを作成して他のユーザに送信したとする(そのような一連の処理をテキストコミュニケーションソフトウエア実行部11に実行させたとする)。
即ち、図7は、受信メールの一例を示しており、図8は、その受信メールに対する返信メールの一例を示している。
図7と図8の各メールにおいて、「From」には対応するメールの送信元(送信者のアドレスまたはその登録名称等)が示され、「To」には対応するメールの送信先(メール相手のアドレスまたはその登録名称等)が示されている。従って、図7と図8のメールによると、ユーザ装置1を使用するユーザは「AAA」で示され、他ユーザ装置3等を使用する他のユーザ(即ち、ユーザにとってのメール相手)は「BBB」で示されていることがわかる。
また、「Sent」には、対応するメールの送信情報が示されている。即ち、曜日、月、日、年、時刻がその順番で「Sent」に示されている。従って、図7の受信メールの「Sent」によると、この受信メールは、2004年4月19日(日曜日)の12:30に送信されたことがわかる。一方、図8の返信メールの「Sent」によると、この返信メールは、2004年4月19日(日曜日)の13:20に送信されたことがわかる。
また「Subject」には、対応するメールのタイトル(題名)が示されている。従って、図7の受信メールの「Subject」によると、この受信メールのタイトルは「新年会のお誘い」であることがわかる。一方、図8の返信メールの「Subject」によると、この返信メールのタイトルは「Re:新年会のお誘い」であることがわかる。
また「本文」には、その名称の通り、対応するメールの本文(主内容)が示されている。即ち、図7の受信メールの本文は「こんにちは! 来週の水曜日19:00からXXXで新年会をやるよ。もし、都合がつけば、是非連絡下さい!」とされている。一方、図8の返信メールの本文は「お誘いありがとう。絶対いくからよろしく! 楽しみにしています。では、当日」とされている。
このような場合、図3のステップS1の処理で、例えば、文章解析部31により図7の受信メールや図8の返信メールの内容に含まれる各単語(「新年会」や「お誘い」等)が取得されるとともに、操作内容観察部32により、図7の受信メールの「Sent」で示される時刻から図8の返信メールの「Sent」で示される時刻までの経過時間(=50分)を示す時間情報が、図7のメールを受信してから図8の返信メールを送信するまでのユーザ操作の内容(素材の一つ)として取得される。
すると、図4のステップ11の処理で、図5の度合い判定基準と、操作内容観察部32から供給された時間情報(50分)とが照らし合わされて、ユーザの感情の度合い(レベル)は「やや強い」と推定される。
次に、ステップS12において、文章解析部31から供給された各単語、即ち、図7の受信メールや図8の返信メールに含まれる各単語の中から、図6の感情辞書の感情語に含まれている「お誘い」や「楽しみ」が選択され、さらに、選択された「お誘い」や「楽しみ」が示す「期待」が、ユーザの感情の種類として推定される。
そして、ステップS13において、「やや強い期待」といった内容のユーザ感情状態情報が生成され、演出内容/呈示内容決定部19に供給される。
これにより、演出内容/呈示内容決定部19は、図8の返信メールを送信した時点またはその前後のユーザの感情状態は、図7と図8のメールにも含まれる「新年会」に参加することをユーザは期待しており、その期待の度合いもやや強いと認識することができる。その結果、図3のステップS3の処理で、演出内容/呈示内容決定部19は、例えば「新年会」の関連情報を推薦することを決定することができる。
このような図7と図8のメールに対して、今度は、図9に示される受信メールと、図10に示されるような返信メールが、ユーザと他のユーザの間でやり取りされたとする。即ち、図9は、受信メールの他の例(図7とは異なる例)を示しており、図10は、その受信メールに対する返信メールの一例(図8とは異なる例)を示している。
図9と図10のメールのそれぞれの「From」と「To」によると、ユーザ装置1を使用するユーザは「AAA」で示され、今度のメール相手(図示せぬ他ユーザ装置を使用する他のユーザ)は「CCC」で示されていることがわかる。
また、図9の受信メールの「Sent」によると、この受信メールは、2004年4月19日(日曜日)の20:45に送信されたことがわかる。一方、図10の返信メールの「Sent」によると、この返信メールは、2004年4月19日(日曜日)の20:50に送信されたことがわかる。
また、図9の受信メールの「Subject」によると、この受信メールのタイトルは「レポート提出締め切り」であることがわかる。一方、図10の返信メールの「Subject」によると、この返信メールのタイトルは「Re:レポート提出締め切り」であることがわかる。
また、図9の受信メールの本文は「先週お願いしていたレポートですが、締め切りになりました。遅れると次のプロジェクトに支障が出ますので、至急、提出下さい。よろしくお願いします。」とされている。一方、図10の返信メールの本文は「提出を忘れていました!遅くなり、すいません。至急、本日中に作成し、提出します。」とされている。
このような場合、図3のステップS1の処理で、例えば、文章解析部31により図9の受信メールや図10の返信メールの内容に含まれる各単語(「すみません」や「至急」等)が取得されるとともに、操作内容観察部32により、図9の受信メールの「Sent」で示される時刻から図10の返信メールの「Sent」で示される時刻までの経過時間(=5分)を示す時間情報が、図9のメールを受信してから図10の返信メールを送信するまでのユーザ操作の内容(素材の一つ)として取得される。
すると、図4のステップ11の処理で、図5の度合い判定基準と操作内容観察部32から供給された時間情報(5分)とが照らし合わされて、ユーザの感情の度合い(レベル)は「強い」と推定される。
次に、ステップS12において、文章解析部31から供給された各単語、即ち、図9の受信メールや図10の返信メールに含まれる各単語の中から、図6の感情辞書の感情語に含まれている「すいません」や「至急」が選択され、さらに、選択された「すいません」や「至急」が示す「焦り」が、ユーザの感情の種類として推定される。
そして、ステップS13において、「強い焦り」といった内容のユーザ感情状態情報が生成され、演出内容/呈示内容決定部19に供給される。
これにより、演出内容/呈示内容決定部19は、図10の返信メールを送信した時点またはその前後のユーザの感情状態は「強い焦り」であることを認識することができる。その結果、例えば、図3のステップS3の処理で、演出内容/呈示内容決定部19は、例えば、その焦りの感情を和らげることを目的として、穏やかなBGMを流すことを決定することができる。
以上、図3のステップS2の処理である「ユーザ感情状態推定処理」の一例として、図4のフローチャートで示される処理について説明した。
なお、上述したステップS11の処理で利用される度合い判定基準として、図5に示される1つの基準が使用されたが、感情の種類に応じて異なる基準を使用してもよい。ただし、この場合、ステップS12の処理が先に行われて、ユーザ感情の種類が推定された後に、ステップS11の処理が実行されることになる。
また、ステップS11の処理で利用される度合い判定基準として、図5に示される1つの基準がそのまま使用される場合であっても、ステップS12の処理が先に実行されて、ユーザ感情の種類が推定された後に、ステップS11の処理が実行されても構わない。
次に、図11のフローチャートを参照して、「ユーザ感情状態推定処理」の他の例について説明する。
即ち、図11は、ユーザ感情の種類が「快」と「不快」とのうちのいずれであるのかを推定し、その度合いがどの程度であるのかを推定する「ユーザ感情状態推定処理」の一例を示している。
図11の例の「ユーザ感情状態推定処理」においては、感情辞書記憶部17に記憶されている感情辞書の一形態としての情報であって、各単語のそれぞれの評価(ユーザの興味)を示す情報の利用が前提とされている。
なお、以下、このような情報を、単語興味プロファイルと称する。また、所定の単語についてのユーザの評価(興味)を、単語快適度と称する。単語快適度の表現方法は特に指定されないが、ここでは、例えば、正の興味と負の興味をプラス(+)とマイナス(−)のそれぞれで表し、興味の度合いを、数値(絶対値)で表すとする。正の興味とは、ユーザが肯定的な種類の感情を抱く興味を指す。逆に、負の興味とは、ユーザが否定的な種類の感情を抱く興味を指す。
このような単語興味プロファイルは、後述する図13のフローチャットに従って生成され、また更新される。そこで、単語興味プロファイルのさらなる詳細については、図13のフローチャートを参照して後述する。
ところで、例えばいま、ユーザが操作部12を操作して、所定のテキストコンテンツ(以下、処理対象のテキストコンテンツと称する)を使用したとする。即ち、そのようなユーザ操作に対応する処理が、テキストコミュニケーションソフトウエア実行部11により実行されたとする。
この場合、図3のステップS1の処理で、例えば、処理対象のテキストコンテンツに含まれる各単語が素材の一つとして文章解析部31により取得されて、感情度合推定部14と感情状態推定部16に供給される。すると、ステップS2のユーザ感情状態推定処理として、例えば図11のフローチャートに従った処理が実行される。
即ち、ステップ21において、感情状態推定部16は、感情辞書記憶部17に記憶されている単語興味プロファイルを参照して、処理対象のテキストコンテンツに含まれる各単語(文章解析部31から供給された各素材)のそれぞれについての単語快適度を決定する。
即ち、ステップS21において、感情状態推定部16は、処理対象のテキストコンテンツに含まれる各単語のそれぞれと、単語興味プロファイルに含まれる各単語のそれぞれとのマッチングを行う。そして、感情状態推定部16は、処理対象のテキストコンテンツに含まれる所定の1単語の単語快適度として、単語プロファイルに含まれる単語のうちのマッチした単語の単語快適度を決定する。
具体的には、例えばいま、処理対象のテキストコンテンツに「新年会」という単語が含まれており、また、単語興味プロファイルにも「新年会」が「+3」という値と関連付けられて保存されているとする。このような場合、ステップS21の処理で、処理対象のテキストコンテンツ内の「新年会」の単語快適度として「+3」が決定される。
次に、ステップS22において、感情状態推定部16は、ステップS21の処理で決定された各単語のそれぞれの単語快適度に基づいて(総合的に判断して)、処理対象のテキストコンテンツについての快適度を決定する。
なお、処理対象のテキストコンテンツについての快適度の決定方法は特に限定されないが、例えばここでは、ステップS21の処理で決定された各単語のそれぞれの単語快適度の総加算値が、処理対象のテキストコンテンツについての快適度として決定されるとする。即ち、例えばいま、処理対象のテキストコンテンツに含まれるN個(Nは任意の整数値)の単語の単語快適度として、C1乃至CN(C1乃至CNは、0を含む正負の任意の値)のそれぞれがステップS21で決定されたとする。この場合、ここでは、C1乃至CNの総加算値が、処理対象のテキストコンテンツについての快適度として決定されるとする。
そして、ステップS23において、感情状態推定部16は、処理対象のテキストコンテンツに対するユーザ操作の内容(操作内容観察部32から供給される素材)に基づいて、処理対象のテキストコンテンツについての快適度を更新する。
なお、処理対象のテキストコンテンツについての快適度の更新方法は特に限定されないが、例えばここでは、次のような更新方法が利用されるとする。
即ち、例えば、各操作内容のそれぞれに対して予め所定の重み値(正負の任意の値)が決定されているとする。
この場合、ステップS22の処理で決定された処理対象のテキストコンテンツに対する快適度と、処理対象のテキストコンテンツに対するユーザ操作の内容についての重み値との加算値を、処理対象のテキストコンテンツに対する快適度の更新値として決定する方法が利用されるとする。
具体的には、テキストコンテンツが例えばメールであった場合には、次のような各操作内容のそれぞれについて、次のような所定の重み値が決定されているとする。
即ち、例えば、はじめのユーザ操作が「メール受信」であって、その後のユーザ操作が「フォーカスがしばらくそのまま」や「受信フォルダでそのまま」であるような操作内容の場合、その操作内容についての重み値として「+1」が決定されているとする。
また、例えば、はじめのユーザ操作が「メール受信」であって、その後のユーザ操作が「削除」であるような操作内容の場合、その操作内容についての重み値として「−5」が決定されているとする。
一方、はじめのユーザ操作が「メール受信」であって、その後のユーザ操作が「返信(返信メール送信)」であるような操作内容の場合、その操作内容についての重み値として「+5」が決定されているとする。
また、処理対象のテキストコンテンツが、単語A、単語B、および、単語Cを含み、ステップS21の処理において、単語A、単語B、および、単語Cのそれぞれの単語快適度として「−2」、「+15」、「+8」のそれぞれが決定されたとする。
この場合、ステップS22の処理で、処理対象のテキストコンテンツについての快適度として、「+21(=−2+15+8)」が決定されることになる。
そして、ステップS23の処理で、次のように、処理対象のテキストコンテンツについての快適度が更新されることになる。
例えば受信メールが放置された場合、即ち、はじめのユーザ操作が「メール受信」であって、その後のユーザ操作が「フォーカスがしばらくそのまま」や「受信フォルダでそのまま」であるような場合、処理対象のテキストコンテンツについての快適度は「+22(=+21+1)」に更新される。
例えば受信メールが削除された場合、即ち、はじめのユーザ操作が「メール受信」であって、その後のユーザ操作が「削除」であるような場合、処理対象のテキストコンテンツについての快適度は「+16(=+21−5)」に更新される。
例えば受信メールに対する返信メールが送信された場合、即ち、じめのユーザ操作が「メール受信」であって、その後のユーザ操作が「返信(返信メール送信)」であるような場合、処理対象のテキストコンテンツについての快適度は「+26(=+21+5)」に更新される。
その後、ステップS24において、感情状態推定部16は、処理対象のテキストコンテンツについての快適度のうちの、正負(+or−)をユーザ感情の種類(快or不快)とみなし、絶対値をユーザ感情の度合いとみなして、処理対象のテキストコンテンツについてのその快適度(正負の値)をユーザ感情状態情報として演出内容/呈示内容決定部19に出力する。
これにより、図11のユーザ感情状態推定処理は終了となり、即ち、図3のステップS2の処理は終了となり、処理はステップS3の処理に進む。
なお、図11の例では、ステップS23の処理で更新された処理対象のテキストコンテンツについての快適度(正負の値)がそのままユーザ感情状態情報として演出内容/呈示内容決定部19に出力されたが、次のような情報がユーザ感情状態情報として演出内容/呈示内容決定部19に出力されてもよい。
即ち、図示はしないが、度合判定基準記憶部15に例えば、テキストコンテンツについての快適度(絶対値)の範囲によって、図5の度合い判定基準のような「強い」、「やや弱い」、「やや弱い」、「弱い」等の多段階に分類される度合い判定基準が記憶されているとする。このような場合、感情度合推定部14は、このような度合い判定基準と、処理対象のテキストコンテンツについての快適度の絶対値を比較することで、所定の段階(「強い」等)を示すユーザ感情の度合いを決定し(推定し)、感情状態推定部16に供給する。すると、感情状態推定部16は、処理対象のテキストコンテンツについての快適度のうちの、正負(+or−)をユーザ感情の種類(快or不快)とし、供給された段階をユーザ感情の度合いとする情報、例えば、「強い快」といった情報を生成し、その情報をユーザ感情状態情報として演出内容/呈示内容決定部19に出力することもできる。
また、ステップS23の処理において、はじめのユーザ操作が「メール受信」であって、その後のユーザ操作が「返信(返信メール送信)」であるような操作内容の場合、その操作内容の重み値として「+5」が決定されたが、さらに、この「+5」の重み値に対して、その反応までの経過時間、即ち、メールが受信されてから返信メールが送信するまでの所要時間に応じて重み付けを行う(重み値の更新を行う)ことも可能である。
このような重み付けの基準の例が図12に示されている。例えば、いまの場合、上述したように、メールの返信操作の重み値としては「+5」が決定される。従って、例えば反応までの経過時間が10分以内の場合(10分以内に返信メールが送信された場合)には、10倍の重み付け(図12中「倍」は「×」で示されている)がなされて、その結果、10分以内になされたメールの返信操作の重み値として「+50」が決定されることになる。
従って、処理対象のテキストコンテンツについての快適度は、上述した例では、「+21」から「+26(=+21+5)」に更新されたが、このような経過時間も考慮した重み値「+50」が利用される場合には、「+21」から「+71」に更新されることになる。
これにより、処理の反応時間をより考慮したユーザ感情の度合いを推定することが可能になる。なぜならば、このようにしてステップS23の処理で更新された快適度の絶対値がユーザ感情の度合いとして用いられるからである(ステップS24参照)。
なお、重み付け基準は当然ながら図12の例に限定されない。また、図示はしないが、その他の操作についても重み付けを行ってもよく、その場合、任意の重み付け基準を利用することができる。
以上、図11の例のユーザ感情状態推定処理について説明した。
ここで、図13のフローチャートを参照して、図11の例のユーザ感情状態推定処理で利用される単語興味プロファイルの生成と更新の処理について説明する。
図13のステップS31において、感情辞書更新部18は、テキストコンテンツが使用されたか否かを判定する。
ステップS31において、テキストコンテンツが使用されていないと判定されると、処理はステップS31に戻され、テキストコンテンツが使用されたか否かが再度判定される。即ち、所定のテキストコンテンツがユーザにより使用されるまで、ステップS31の判定処理が繰り返される。
その後、ユーザが操作部12を操作して所定のテキストコンテンツを使用(作成や閲覧)すると、即ち、テキストコミュニケーションソフトウエア実行部11がそのテキストコンテンツに対する処理を実行すると、素材取得部13により各種素材が取得されて、感情辞書更新部18に供給されてくる。
感情辞書更新部18は、このような素材を取得すると、ステップS31において、テキストコンテンツが使用されたと判定し、処理をステップS32に進める。
ステップS32において、感情辞書更新部18は、テキストコンテンツに対するユーザ操作の内容(操作内容観察部32から供給される素材)についての重み値を決定する。
操作の内容についての重み値の決定方法は特に限定されないが、ここでは予め定められた重み値(正負の値)をそのまま使用する決定方法が採用されるとする。
具体的には例えば、テキストコンテンツが例えばメールであった場合には、次のように、各操作内容のそれぞれについての重み値が決定されていたとする。
即ち、例えば、はじめのユーザ操作が「メール受信」であって、その後のユーザ操作が「フォーカスがしばらくそのまま」や「受信フォルダでそのまま」であるような操作内容の場合、その操作内容についての重み値として「+1」が予め定められているとする。
また、はじめのユーザ操作が「メール受信」であって、その後のユーザ操作が「受信フォルダにそのまま」であるような操作内容の場合、その操作内容についての重み値として「−5」が予め定められているとする。
一方、はじめのユーザ操作が「メール受信」であって、その後のユーザ操作が「返信(返信メール送信)」であるような操作内容の場合、その操作内容についての重み値として「+5」が予め定められているとする。
このような場合、テキストコンテンツに対するユーザ操作の内容と同一または類似の操作内容についての予め定められた重み値を、テキストコンテンツに対するユーザ操作の内容についての重み値として決定する決定方法が採用されるとする。
上述した重み値の決定方法の他、さらに次のような方法が採用されてもよい。即ち、予め定められた重み値を単に使用するのではなく、その定められた重み値に対して、所定の操作内容に着目した重み付けをさらに行い(重み値を更新し)、更新された重み値を使用する方法である。
この方法によると、テキストコンテンツに対するユーザ操作の内容が、はじめのユーザ操作が「メール受信」であって、その後のユーザ操作が「返信(返信メール送信)」であるような操作内容の場合、「+5」が初期値として決定される。次に、この「+5」に対して、反応までの経過時間、即ち、メールが受信されてから返信メールが送信するまでの所要時間に着目した重み付けがさらに行われることになる。
このような重み付けの基準として、上述した図12の例をここでもそのまま使用することができる。例えば、いまの場合、テキストコンテンツに対するユーザ操作の内容ついての重み値の初期値(反応までの経過時間に基づく重み付けがなされる前の値)は上述したように「+5」である。従って、例えば反応までの経過時間が10分以内の場合(即ち、10分以内に返信メールが送信された場合)には、10倍の重み付けがなされて、その結果、テキストコンテンツに対するユーザ操作の内容についての重み値が「+50」になる。
なお、重み付け基準は当然ながら図12の例に限定されない。また、図示はしないが、その他の操作についても重み付けを行ってもよく、その場合、任意の重み付け基準を利用することができる。
図13に戻り、このようにして、ステップS32の処理で、テキストコンテンツに対するユーザ操作の内容についての重み値が決定されると、処理はステップS33に進む。
ステップS33において、感情辞書更新部18は、テキストコンテンツに含まれる単語を抽出する。なお、ステップS31でYESであると判定された時点で、テキストコンテンツに含まれる各単語が文章解析部21から素材として感情辞書更新部18に既に供給されている場合、ステップS33の処理は省略可能である。
ステップS34において、感情辞書更新部18は、テキストコンテンツに含まれる各単語のうちの所定の1つを、注目単語として決定する。
ステップS35において、感情辞書更新部18は、感情辞書記憶部17に記憶されている単語興味プロファイルに注目単語が含まれているか否かを判定する。
感情辞書記憶部17に単語興味プロファイル自体が記憶されていない場合、または、感情辞書記憶部17に単語興味プロファイルが記憶されていても、その単語興味プロファイルに注目単語が含まれてない場合、ステップS35の処理でNOであると判定されて、処理はステップS36に進む。
ステップS36において、感情辞書更新部18は、ステップS32の処理で決定された重み値、即ち、テキストコンテンツに対するユーザ操作の内容についての重み値に基づいて、注目単語の単語快適度の初期値を決定する。
なお、注目単語の単語快適度の初期値の決定方法は特に限定されないが、ここでは例えば、テキストコンテンツに対するユーザ操作の内容についての重み値がそのまま、注目単語の単語快適度の初期値として決定されるとする。
ステップS37において、感情辞書更新部18は、単語興味プロファイルに、注目単語とその単語快適度とを追加する。
なお、ステップS36の処理終了の時点で感情辞書記憶部17に単語興味プロファイル自体が記憶されていない場合、このステップS37の処理で、注目単語とその単語快適度との組を1組含む単語興味プロファイルが新たに生成されて、感情辞書記憶部17に記憶されることになる。
このようなステップS35(NO)、S36、および、S37の一連の処理に対して、ステップS35において、単語興味プロファイルに注目単語が含まれていると判定された場合、処理はステップS38に進む。
ステップS38において、感情辞書更新部18は、ステップS32の処理で決定された重み値、即ち、テキストコンテンツに対するユーザ操作の内容についての重み値に基づいて、単語興味プロファイルに含まれる注目単語についての単語快適度を更新する。
なお、注目単語の単語快適度の更新方法は特に限定されないが、ここでは例えば、注目単語の単語快適度の更新前の値に対して、テキストコンテンツに対するユーザ操作の内容についての重み値が加算された値が、注目単語の単語快適度の更新値となるとする。具体的には、例えば、注目単語の単語快適度の更新前の値が「−10」であり、テキストコンテンツに対するユーザ操作の内容についての重み値が「+5」であるとすると、注目単語の単語快適度の更新値は「−5(=−10+5)」になる。
このようにして、ステップS37またはS38の処理が終了すると、処理はステップS39に進む。
ステップS39において、感情辞書更新部18は、ステップS33の処理で抽出された全単語の処理が終了したか否かを判定する。
ステップS39において、抽出された全単語の処理がまだ終了していないと判定された場合、処理はステップS34に戻され、それ以降の処理が繰り返される。即ち、未処理の単語のそれぞれが順次注目単語に決定されて、上述したステップS35乃至S38の処理が繰り返される。その結果、単語興味プロファイルに未登録であった単語については、その単語とその単語快適度(初期値)が追加され、単語興味プロファイルに登録済みであった単語については、その単語の単語快適度が更新される。
そして、ステップS39において、抽出された全単語の処理が終了したと判定されると、処理はステップS40に進む。
ステップS40において、感情状態推定部16は、単語興味プロファイルの生成(更新)の終了が指示されたか否かを判定する。
ステップS40において、単語興味プロファイルの生成(更新)の終了が指示されたと判定された場合、その処理は終了となる。
これに対して、ステップS40において、単語興味プロファイルの生成(更新)の終了がまだ指示されていないと判定された場合、処理はステップS31に戻され、それ以降の処理が繰り返される。
即ち、単語興味プロファイルの生成(更新)の終了が指示されない限り、新たなテキストコンテンツがユーザに使用される毎に、単語興味プロファイルの内容が更新されていく。即ち、単語興味プロファイルに未登録であった単語については、その単語とその単語快適度(初期値)が追加され、単語興味プロファイルに登録済みであった単語については、その単語の単語快適度が更新される。
従って、新たなテキストコンテンツがユーザに使用される毎に、ユーザにとって正の興味がある単語(快であると感じるであろう単語)の単語快適度は増加していく一方、ユーザにとって負の興味がある単語(不快であると感じるであろう単語)の単語快適度は減少していく(負の値であるので、その絶対値は増加していく)。また、ユーザにとって正の興味も負の興味もない単語の単語快適度は、0近辺に落ち着くようになる(正負に関わらず、絶対値は小さくなる)。
即ち、ユーザにとって正または負の興味がある単語が浮き彫りになってくるのである。
以上、図11のフローチャートを参照して、ユーザ感情の種類が「快」と「不快」とのうちのいずれであるのかを推定し、その度合いがどの程度であるのかを推定する「ユーザ感情状態推定処理」の一例を説明した。そして、図13を参照して、その図11の例の「ユーザ感情状態推定処理」で利用される単語興味プロファイルの生成と更新の処理例について説明した。
ところで、図13のフローチャートに従って、所定のテキストコンテンツに含まれる各単語のそれぞれの単語快適度が決定(または更新)されれば、図11のステップS22(S23を含んでもよい)と同様の処理を実行することで、そのテキストコンテンツについての快適度の決定も可能になる。
さらに、このテキストコンテンツは、複数のフォルダのうちの所定のフォルダに格納される(移動される)ことが多いので、複数のフォルダのそれぞれについても同様に快適度(ユーザの正負の興味についての重み値)を決定することができる。
これにより、処理対象のテキストコンテンツの移動先が、快適度の高いフォルダ、即ち、快適度の高いテキストコンテンツを多く含むフォルダであったような場合、処理対象のテキストコンテンツを使用した時点またはその前後のユーザの感情状態は「(強い)快」であると推定することが容易に可能になる。
このようなフォルダの快適度を利用してユーザ感情の種類が「快」と「不快」とのうちのいずれであるのかを推定し、その度合いがどの程度であるのかを推定する「ユーザ感情状態推定処理」の例が、図14のフローチャートに示されている。即ち、図14は、「ユーザ感情状態推定処理」のさらに他の例(図4や図11とは異なる例)を示している。
図14の例の「ユーザ感情状態推定処理」においては、感情辞書記憶部17に記憶されている感情辞書の一形態としての情報であって、各フォルダのそれぞれについての快適度を示す情報の利用が前提とされている。
なお、以下、このような情報を、フォルダ興味プロファイルと称する。
このようなフォルダ興味プロファイルは単語興味プロファイルとともに、後述する図15と図16のフローチャットに従って生成され、また更新される。そこで、フォルダ興味プロファイルのさらなる詳細については、図15と図16のフローチャートを参照して後述する。
ところで、例えばいま、ユーザが操作部12を操作して、所定のテキストコンテンツ(以下、ここでも処理対象のテキストコンテンツと称する)を使用(閲覧や作成等)し、その後、所定のフォルダに格納(移動)させたとする。即ち、そのようなユーザ操作に対応する処理が、テキストコミュニケーションソフトウエア実行部11により実行されたとする。なお、以下、処理対象のテキストコンテンツが格納(移動)されたフォルダを、移動先フォルダと称する。即ち、テキストコミュニケーションソフトウエア実行部11は、各種処理を実行後或いは実行中に、処理対象のテキストコンテンツを移動先フォルダに格納させたとする。
この場合、図3のステップS1の処理で、例えば、処理対象のテキストコンテンツの移動先フォルダを示す情報(移動先フォルダに処理対象のテキストコンテンツが移動されたというユーザの操作内容を示す情報)が素材の一つとして操作内容観察部32により取得されて、感情度合推定部14と感情状態推定部16に供給されると、ステップS2のユーザ感情状態推定処理として、例えば図14のフローチャートに従った処理が実行される。
即ち、ステップ51において、感情状態推定部16は、感情辞書記憶部17に記憶されているフォルダ興味プロファイルの中から、処理対象のテキストコンテンツの移動先フォルダについての快適度を抽出する。
そして、ステップS52において、感情状態推定部16は、移動先フォルダについての快適度のうちの、正負(+or−)をユーザ感情の種類(快or不快)とみなし、絶対値をユーザ感情の度合いとみなして、移動先フォルダについてのその快適度(正負の値)をユーザ感情状態情報として演出内容/呈示内容決定部19に出力する。
これにより、図14のユーザ感情状態推定処理は終了となり、即ち、図3のステップS2の処理は終了となり、処理はステップS3の処理に進む。
なお、図14の例では、ステップS51の処理で決定された移動先フォルダについての快適度(正負の値)がそのままユーザ感情状態情報として演出内容/呈示内容決定部19に出力されたが、次のような情報がユーザ感情状態情報として演出内容/呈示内容決定部19に出力されてもよい。
即ち、図示はしないが、度合判定基準記憶部15に例えば、フォルダについての快適度(絶対値)の範囲によって、図5の度合い判定基準のような「強い」、「やや弱い」、「やや弱い」、「弱い」等の多段階に分類される度合い判定基準が記憶されているとする。このような場合、感情度合推定部14は、このような度合い判定基準と、移動先フォルダについての快適度の絶対値を比較することで、所定の段階(「強い」等)を示すユーザ感情の度合いを決定し(推定し)、感情状態推定部16に供給する。すると、感情状態推定部16は、移動先フォルダについての快適度のうちの、正負(+or−)をユーザ感情の種類(快or不快)とし、供給された段階をユーザ感情の度合いとする情報、例えば、「強い快」といった情報を生成し、その情報をユーザ感情状態情報として演出内容/呈示内容決定部19に出力することもできる。
以上、図14の例のユーザ感情状態推定処理について説明した。
ここで、図15と図16のフローチャートを参照して、図14の例のユーザ感情状態推定処理で利用されるフォルダ興味プロファイルの生成と更新の処理について説明する。
図13のステップS61において、感情辞書更新部18は、テキストコンテンツが所定のフォルダに移動されたか否かを判定する。
ステップS61において、テキストコンテンツが所定のフォルダに移動されていないと判定されると、処理はステップS61に戻され、テキストコンテンツが所定のフォルダに移動されたか否かが再度判定される。即ち、所定のテキストコンテンツが所定のフォルダに移動(格納)されるまで、ステップS61の判定処理が繰り返される。
その後、ユーザが操作部12を操作して所定のテキストコンテンツを使用(作成や閲覧)し、所定のフォルダに移動させると、即ち、テキストコミュニケーションソフトウエア実行部11がそのテキストコンテンツに対する処理を実行すると、素材取得部13により各種素材が取得されて、感情辞書更新部18に供給されてくる。
感情辞書更新部18は、このような素材を取得すると、ステップS61において、テキストコンテンツが使用されたと判定し、処理をステップS62に進める。
すると、ステップS62乃至S69の一連の処理が実行されて、処理対象のテキストコンテンツに含まれる単語が抽出され、抽出された全単語のうちの、単語興味プロファイルに未登録であった単語については、その単語とその単語快適度(初期値)が追加され、単語興味プロファイルに登録済みであった単語については、その単語の単語快適度が更新される。
即ち、ステップS62乃至S69のそれぞれにおいて、上述した図13のステップS32乃至S39のそれぞれの処理と基本的に同様の処理が実行される。従って、ここでは、ステップS62乃至S69の処理の説明については省略する。
このようにして単語興味プロファイルが更新されると(或いは新たに作成されると)、ステップS69の処理で、抽出された全単語の処理が終了したと判定され、処理は図16のステップS70に進む。
ステップS70において、感情辞書更新部18は、移動先フォルダに移動されたテキストコンテンツについての快適度を決定する。
即ち、ステップS70において、感情辞書更新部18は、例えば、移動先フォルダに移動されたテキストコンテンツを処理対象のテキストコンテンツとみなして、上述した図11のステップS21乃至S23の一連の処理と同様の処理を実行する。
ステップS71において、感情辞書更新部18は、感情辞書記憶部17に記憶されているフォルダ興味プロファイルに移動先フォルダが含まれているか否かを判定する。
感情辞書記憶部17にフォルダ興味プロファイル自体が記憶されていない場合、または、感情辞書記憶部17にフォルダ興味プロファイルが記憶されていても、そのフォルダ興味プロファイルに移動先フォルダが含まれてない場合、ステップS71の処理でNOであると判定されて、処理はステップS72に進む。
ステップS72において、感情辞書更新部18は、ステップS70の処理で決定された快適度、即ち、移動先フォルダに移動されたテキストコンテンツについての快適度に基づいて、移動先フォルダについての快適度の初期値を決定する。
なお、移動先フォルダについての快適度の初期値の決定方法は特に限定されないが、ここでは例えば、移動先フォルダに移動されたテキストコンテンツについての快適度がそのまま、移動先フォルダについての快適度の初期値として決定されるとする。
ステップS73において、感情辞書更新部18は、フォルダ興味プロファイルに、移動先フォルダとその快適度(初期値)とを追加する。
なお、ステップS73の処理終了の時点で感情辞書記憶部17にフォルダ興味プロファイル自体が記憶されていない場合、このステップS73の処理で、移動先フォルダとその快適度(初期値)との組を1組含むフォルダ興味プロファイルが新たに生成されて、感情辞書記憶部17に記憶されることになる。
このようなステップS71(NO)、S72、および、S73の一連の処理に対して、ステップS71において、フォルダ興味プロファイルに移動先フォルダが含まれていると判定された場合、処理はステップS74に進む。
ステップS74において、感情辞書更新部18は、ステップS70の処理で決定された重み値、即ち、移動先フォルダに移動されたテキストコンテンツについての快適度に基づいて、フォルダ興味プロファイルに含まれる移動先フォルダについての快適度を更新する。
なお、移動先フォルダについての快適度の更新方法は特に限定されないが、ここでは例えば、移動先フォルダについての快適度の更新前の値に対して、その移動先フォルダに新たに移動されたテキストコンテンツについての快適度が加算された値が、移動先フォルダについての快適度の更新値となるとする。具体的には、例えば、移動先フォルダについての快適度の更新前の値が「+100」であり、テキストコンテンツについての快適度が「−10」であるとすると、移動先フォルダについて快適度の更新値は「+90(=100−10)」になる。
このようにして、ステップS73またはS74の処理が終了すると、処理はステップS74に進む。
ステップS74において、感情辞書更新部18は、フォルダ興味プロファイルの生成(更新)の終了が指示されたか否かを判定する。
ステップS74において、フォルダ興味プロファイルの生成(更新)の終了が指示されたと判定された場合、その処理は終了となる。
これに対して、ステップS74において、フォルダ興味プロファイルの生成(更新)の終了がまだ指示されていないと判定された場合、処理は図15のステップS61に戻され、それ以降の処理が繰り返される。
即ち、フォルダ興味プロファイルの生成(更新)の終了が指示されない限り、新たなテキストコンテンツがユーザに使用されて所定のフォルダに移動される毎に、単語興味プロファイルの内容が更新されるとともに、フォルダ興味プロファイルの内容が更新される。即ち、単語興味プロファイルに未登録であった単語については、その単語とその単語快適度(初期値)が追加され、単語興味プロファイルに登録済みであった単語については、その単語の単語快適度が更新される。また、フォルダ興味プロファイルに未登録であったフォルダについては、そのフォルダとその快適度(初期値)が追加され、フォルダ興味プロファイルに登録済みであったフォルダについては、その快適度が更新される。
従って、新たなテキストコンテンツがユーザに使用されて、所定のフォルダに移動される毎に、ユーザにとって正の興味があるフォルダ(快であると感じるテキストコンテンツが多く含まれていると思われるフォルダ)の快適度は増加していく一方、ユーザにとって負の興味があるフォルダ(不快であると感じるテキストコンテンツが多く含まれていると思われるフォルダ)の快適度は減少していく(負の値であるので、その絶対値は増加していく)。また、ユーザにとって正の興味も負の興味もないフォルダの快適度は、0近辺に落ち着くようになる(正負に関わらず、絶対値は小さくなる)。
即ち、ユーザにとって正または負の興味があるフォルダが浮き彫りになってくるのである。
以上、図14のフローチャートを参照して、移動先フォルダについての快適度に基づいて、ユーザ感情の種類が「快」と「不快」とのうちのいずれであるのかを推定し、その度合いがどの程度であるのかを推定する「ユーザ感情状態推定処理」の一例を説明した。そして、図15と図16を参照して、その図14の例の「ユーザ感情状態推定処理」で利用されるフォルダ興味プロファイルの生成と更新の処理例について説明した。
ところで、上述した図13(または図14と図15)のフローチャートに従って、所定のテキストコンテンツに含まれる各単語のそれぞれの単語快適度が決定(または更新)されれば、図11のステップS22(S23を含んでもよい)と同様の処理を実行することで、そのテキストコンテンツについての快適度の決定も可能になる。
さらに、このテキストコンテンツがメールである場合には、快適度が決定可能な各メールのやり取りの履歴に基づいて、メール相手についても同様に快適度(ユーザの正負の興味についての重み値)を決定することができる。
これにより、処理対象のメールのメール相手が分かった時点(例えば、送信メールのあて先を入力した時点)で、そのメール相手についての快適度に基づいて、メール相手に抱くユーザの感情状態を推定することが容易に可能になる。その結果、その推定された感情状態(メール相手に抱くであろう感情状態)に適した関連情報の呈示やその演出も容易に可能になる。
ところで、上述したフォルダとメール相手との違いは、結局、ユーザが使用した或いはこれから使用するテキストコンテンツの分類方法の違いであると言える。このため、例えば、各メール相手のそれぞれを示す仮想フォルダ(或いは実際のフォルダ)を予め作成し、新たなメールを、その新たなメールのメール相手を示す仮想フォルダに移動させることでも、各メールのそれぞれをメール相手の観点から分類することは実現可能である。
従って、メール相手の快適度を利用してユーザ感情の種類が「快」と「不快」とのうちのいずれであるのかを推定し、その度合いがどの程度であるのかを推定する「ユーザ感情状態推定処理」は、結局、図14のフローチャートと基本的に同様の処理となる。
ただし、この場合、ステップS51の処理では、フォルダ興味プロファイルの代わりに、メール相手興味プロファイルが使用され、その中から、処理対象のメールのメール相手についての快適度が抽出されることになる。即ち、ステップS52の処理でユーザ感情状態情報として出力されるのは、処理対象のメールのメール相手についての快適度となる。
また、このメール相手興味プロファイルは、図15と図16のフローチャートに従った処理と同様の処理で、生成されまた更新されることになる。
ただし、この場合、次の点が若干異なることになる。即ち、1点目は、「テキストコンテンツ」が「メール」になる点である。2点目は、ステップS61の処理が「メールのメール相手が特定できたか?」という処理になる点である。3点目は、「移動先フォルダに移動されたテキストコンテンツについての快適度」が「処理対象のメールについての快適度」になる点である。4点目は、「移動先フォルダ」が「メール相手」になる点である。5点目は、「フォルダ興味プロファイル」が「メール相手興味プロファイル」になる点である。
なお、上述した例では、テキストコンテンツがメールである場合に限定したためメール相手とされたが、上述したように、テキストコンテンツは特にメールに限定されず、結局、メール相手と言うよりは、「ユーザ装置1を利用するユーザが、処理対象のテキストコンテンツを使用しながらコミュニケーションを取っている相手」であると言うほうが正確である。即ち、テキストコミュニケーションがチャットソフトである場合にはチャット相手となるし、テキストコミュニケーションがブラウザである場合にはホームページの管理者等となる。
以上、ユーザ感情の種類が「快」と「不快」のうちのいずれであるのかを推定し、その度合いがどの程度であるのかを推定する「ユーザ感情状態推定処理」の例として、次の3つの例を個別に説明した。即ち、1つ目の例は、処理対象のテキストコンテンツについての快適度に基づく「ユーザ感情状態推定処理(図11)」である。2つ目の例は、移動先フォルダについての快適度に基づく「ユーザ感情状態推定処理(図14)」である。そして、3つ目の例は、メール相手等についての快適度に基づく「ユーザ感情状態推定処理」である。
しかしながら、これらの3つの例を個別に実行する必要は特になく、結局、処理対象のテキストコンテンツについての快適度、移動先フォルダについての快適度、および、メール相手等についての快適度のうちの任意の数の任意のものの組み合わせに基づいて、ユーザ感情の種類が「快」と「不適」とのうちのいずれであるのかを推定し、その度合いがどの程度であるのかを推定する「ユーザ感情状態推定処理」であればよい。換言すると、このような「ユーザ感情状態推定処理」のうちの、処理対象のテキストコンテンツについての快適度、移動先フォルダについての快適度、および、メール相手等についての快適度のそれぞれを単体で利用する場合の処理例を、上述した3つの例として個別に説明してきたとも言える。
また、上述した例では、ユーザの操作対象はテキストコンテンツとされたが、テキストコンテンツに限定されず、画像その他様々なコンテンツを操作対象とする場合も、上述した一連の処理を実行することで、ユーザの感情状態を推定することができる。さらに、その推定結果に基づいて関連情報を呈示したり、その呈示の演出を行うことができる。
具体的には、例えば、ユーザが、テレビジョン放送番組を視聴し、その中で紹介されたWebページを閲覧したなどのような、複数の機器を利用する操作を行ったような場合にも、例えば次のようにしてユーザの感情状態を推定することができる。
即ち、はじめに、ユーザ装置1は、操作対象の各コンテンツ(各操作)をそれぞれ分類し、分類された各コンテンツ(各操作)のそれぞれについての快適度を決定する。具体的には例えばいまの場合、テレビジョン放送番組(視聴操作に関する重み付けも含む)についての快適度として「+1」が決定され、Webページ(閲覧操作に関する重み付けも含む)についての快適度として「+4」が決定されたとする。
この場合、ユーザ装置1は、各コンテンツ(各操作)のそれぞれについての快適度を総合的に判断した総合快適度を決定する。総合快適度の決定方法も特に限定されず、例えば、各コンテンツ(各操作)のそれぞれについての快適度の総加算値を、総合快適度として決定する方法等が利用可能である。例えばいまの場合、この方法が利用されると、テレビジョン放送番組についての快適度である「+1」と、Webページについての快適度である「+4」とが加算された値、即ち、「+5」が総合快適度として決定されることになる。
そこで、ユーザ装置1は、総合快適度のうちの、正負(+or−)をユーザ感情の種類(快or不快)とみなし、絶対値をユーザ感情の度合いとみなすことで、ユーザの感情状態を推定する(ユーザ感情状態情報を生成する)ことができる。例えばいまの場合、ユーザの感情状態は、「5」の度合いの「快」であると推定されることになる。
さらに、総合快適度に対して、時間や状況で示される緊急度による重み付けを行ってもよい。これにより、例えば、ユーザが、朝、メールをチェックし、受信メールをすぐ閲覧したといった操作を行った場合、その操作とユーザの感情状態とをあわせた内容、即ち、「緊急時に快の操作」といった内容を推定することも可能になる。
ところで、上述した一連の処理は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることができる。
この場合、図2のユーザ装置1(その他、他ユーザ装置3等)は、例えば、図17に示されるようなパーソナルコンピュータで構成することができる。
図17において、CPU(Central Processing Unit)101は、ROM(Read Only Memory)102に記録されているプログラム、または記憶部108からRAM(Random Access Memory)103にロードされたプログラムに従って各種の処理を実行する。RAM103にはまた、CPU101が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU101、ROM102、およびRAM103は、バス104を介して相互に接続されている。このバス104にはまた、入出力インタフェース105も接続されている。
入出力インタフェース105には、キーボード、マウスなどよりなる入力部106、ディスプレイなどよりなる出力部107、ハードディスクなどより構成される記憶部108、および、モデム、ターミナルアダプタなどより構成される通信部109が接続されている。通信部109は、インターネットを含むネットワーク(例えば、図1のネットワーク2)を介して他の情報処理装置(例えば、図1のユーザ装置1の通信部109の場合、他ユーザ装置3)との通信処理を行う。
入出力インタフェース105にはまた、必要に応じてドライブ110が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどよりなるリムーバブル記録媒体111が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部108にインストールされる。
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
このようなプログラムを含む記録媒体は、図17に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク(フロッピディスクを含む)、光ディスク(CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む)、光磁気ディスク(MD(Mini-Disk)を含む)、もしくは半導体メモリなどよりなるリムーバブル記録媒体(パッケージメディア)111により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM102や、記憶部108に含まれるハードディスクなどで構成される。
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムとは、複数の装置や処理部により構成される装置全体を表すものである。
以上、本発明が適用される情報処理装置の実施の形態について説明した。これにより、従来においては、感情推定のために用いられていた特別な装置が必要とされたが、このような実施の形態を取り得る本発明の情報処理装置を用いることで、このような特別な装置を用いることなく、感情状態(種類と度合い)を容易に推定することができるようになる。
また、本発明の情報処理装置を用いることで、これまで「興味がある」といった一次元の特徴でまとめられがちであったユーザープロファイルを、感情ごとに区別して扱うことができるので、感情にあわせた情報推薦や演出がより簡易的に実現することが可能になる。
1 ユーザ装置, 11 テキストコミュニケーションソフトウエア実行部, 12 操作部, 13 素材取得部, 14 感情度合推定部, 15 度合判定基準記憶部, 16 感情状態推定部, 17 感情辞書記憶部, 18 感情辞書更新部,19 演出内容/呈示内容決定部, 20 演出ルール/呈示ルール記憶部, 21 呈示部, 22 関連情報検索部, 23 関連情報記憶部, 24 通信制御部, 31 文章解析部, 32 操作内容観察部, 33 感情取得部, 41 感情入力部, 101 CPU, 102 ROM, 103 RAM, 108 記憶部, 111 リムーバブル記録媒体