本発明は、ユーザに情報やサービスを提供する技術に関する。より具体的には、本発明はユーザの脳波などの生体信号を利用して、適切な情報やサービスを選択して提供する機器、方法、およびそのような機器において実行されるコンピュータプログラムに関する。
近年、情報機器や映像音響機器において取り扱われる情報(コンテンツ)の量は膨大になっている。そのため、ユーザはコンテンツを正確に特定して機器に指示しなければ、機器は適切なコンテンツを提供できない。
例えば、ユーザが野球の映像を見たいと思ったとき、「野球を見たい」とユーザが指示すれば希望する野球番組を受信し表示する機器が提案されている。当該機器は、ユーザが見たい野球の映像はその時点で放送されている野球番組であるとして動作する。提案された当初は、機器はそのように動作すればユーザの期待に十分応えることができた。しかし、現在は野球に関連する映像は多岐にわたっており、たとえば日本のプロ野球番組、高校野球番組、アメリカ大リーグ番組、さらにはユーザが所属している草野球チームの先週の試合のビデオ映像までもが視聴の対象になり得る。したがって、ユーザがどの野球を見たいかを正確に特定して指示しなければ、機器はユーザの希望する野球の映像を提供できない。
コンテンツを特定して機器に指示するために、ユーザは非常に煩雑な作業を強いられる。よって、その作業を如何に減らせるかは機器の性能を決める重要な指標の1つとなる。
たとえば、ユーザからあいまい性を含んだ要求を受け取ったときは、機器は適切と考えられるコンテンツをユーザに提供できることが好ましい。また、機器の選択がユーザの意図に沿わないときは、機器はそのような状況の発生を把握し、より適切なコンテンツを提供する処理を行うことが好ましい。たとえば機器がユーザに対しコンテンツに関する更なる情報を要求したり、機器がユーザの操作履歴などに基づいて他のコンテンツを選択して提供できれば、利便性が高まる。
特許文献1には、ユーザの脳波に基づいてユーザの意図を推定し、自らの動作を制御するサービス提供装置が開示されている。この装置は、ユーザの要求に対して応答した後、ユーザの生体信号を検出する。そして、その信号から応答した内容が期待はずれであったかどうかを推定し、期待はずれであると判断すると応答内容を修正している。
国際公開WO2005/001677号
従来の機器はユーザの生体信号に基づいて応答内容を修正するが、修正後の内容がユーザの期待に合致するか否かは不明である。その理由は、機器は応答内容をどのように修正すべきかを考慮していないからである。機器は、応答内容がユーザにとって期待はずれであったか否かを2値的に判断するにとどまり、ユーザがどのような観点からその内容が期待はずれであると考えたのか分析することはない。よって、修正後の内容もまた、ユーザにとって期待はずれとなる可能性がある。
本発明の目的は、ユーザがあいまい性を含んだ要求を入力したときでも、可能な限りユーザの期待に沿って動作する技術を提供することである。特に、ユーザの期待通りに動作できなかった場合において、どのような観点から期待通りではなかったかを判断して、より期待に近い応答を行う技術を提供することである。
本発明による情報処理システムは、ユーザの要求に基づいて第1処理を実行する反応部と、処理の結果を出力する出力部と、ユーザ脳波の事象関連電位に関する信号を計測する信号検出部と、前記結果が出力されてから、前記事象関連電位の陽性の頂点が現れるまでの経過時間が、第1基準時間および第2基準時間のいずれに近いかを判定する解析部と、判定結果に応じて第2処理を決定する反応修正部とを備えている。前記反応部は前記第2処理を実行する。
前記解析部は、前記第1基準時間を600±50ミリ秒とし、前記第2基準時間を750±50ミリ秒として判定してもよい。
前記情報処理システムは、処理の実行に利用される複数のパラメータを保持する蓄積部をさらに備えていてもよい。前記複数のパラメータの各々は複数のカテゴリに分類可能である。前記反応修正部は、前記経過時間が前記第1基準時間である600±50ミリ秒に近いことを示す判定結果を受け取ったときは、前記第1処理に利用されたパラメータと異なるカテゴリに属するパラメータを選択し、前記経過時間が前記第2基準時間である750±50ミリ秒に近いことを示す判定結果を受け取ったときは、前記第1処理に利用されたパラメータと同じカテゴリに属するパラメータを選択して、選択したパラメータを利用する処理を前記第2処理として決定してもよい。
前記蓄積部は、各パラメータの利用頻度を示す履歴情報を保持していてもよく、前記反応部は、前記履歴情報に基づいてパラメータを選択し、選択した前記パラメータを利用して前記第1処理を実行してもよい。
前記反応修正部は、まだ選択されていないパラメータのうち、前記利用頻度が最も高いパラメータを選択して前記第2処理を決定してもよい。
前記第2処理の実行に応じて、前記蓄積部は前記第2処理に利用されたパラメータの履歴情報を更新してもよい。
映像および音声の少なくとも1つに関する第1コンテンツおよび第2コンテンツに関し、前記反応部は、前記第1コンテンツの出力処理を前記第1処理として実行し、前記第1コンテンツとは異なる第2コンテンツの出力処理を前記第2処理として実行してもよい。
本発明による情報処理装置は、入力装置、出力装置および信号検出装置と接続される。前記入力装置は、ユーザの要求を受け取る手段を備え、前記出力装置は、受け取った信号を出力する手段を備え、前記信号検出装置は、ユーザ脳波の事象関連電位に関する信号を計測する手段を備えている。前記情報処理装置は、前記入力装置からの前記ユーザの要求に基づいて第1処理を実行して信号を出力する反応部と、前記事象関連電位に関する信号に基づいて、前記事象関連電位の陽性の頂点を特定し、前記結果が出力されてから前記頂点が現れるまでの経過時間が、第1基準時間および第2基準時間のいずれに近いかを判定する解析部と、判定結果に応じて第2処理を決定する反応修正部とを備えている。前記反応部は前記第2処理を実行して信号を出力する。
本発明による情報処理方法は、ユーザの要求に基づいて第1処理を実行するステップと、処理の結果を出力するステップと、ユーザ脳波の事象関連電位に関する信号を計測するステップと、前記信号から前記事象関連電位の陽性の頂点を特定するステップと、前記結果が出力されてから前記頂点が現れるまでの経過時間が、第1基準時間および第2基準時間のいずれに近いかを判定するステップと、判定結果に応じて第2処理を決定するステップと、前記第2処理を実行するステップとを包含する。
本発明によるコンピュータプログラムは、コンピュータにおいて実行可能である。前記コンピュータプログラムは、記録媒体に記録され、コンピュータによって読み出される。読み出された前記コンピュータプログラムは、前記コンピュータに、入力装置から入力されたユーザの要求に基づいて第1処理を実行するステップと、処理の結果を出力装置に出力するステップと、検出装置によって検出されたユーザ脳波の事象関連電位に関する信号を受信するステップと、前記信号から前記事象関連電位の陽性の頂点を特定するステップと、前記結果が出力されてから前記頂点が現れるまでの経過時間が、第1基準時間および第2準時間のいずれに近いかを判定するステップと、判定結果に応じて第2処理を実行するステップとを実行させる。
本発明によれば、ユーザが期待はずれと感じた時にその期待はずれを示す信号の性質を判定する。そしてその判定結果に基づいて機器の動作を修正する。ユーザが注意を向けていた対象に適合するように機器の動作を修正するため、ユーザの期待に沿う結果をユーザに提供できる。
注意検出システム100の構成例を示す図である。
注意検出システム100の機能ブロックの構成を示す図である。
蓄積部5に保持された番組データベース51の例を示す図である。
注意検出システム100の処理の手順を示すフローチャートである。
機器反応部12の処理の手順を示すフローチャートである。
機器反応部12によって作成された動作候補のリスト41を示す図である。
信号解析部16の処理の手順を示すフローチャートである。
反応修正部17の処理の手順を示すフローチャートである。
本実験の概要を時系列で示す図である。
実験において使用した問題の例を示す図である。
実験の手順を示すフローチャートである。
被験者の脳波を測定するための電極の貼り付け位置を示す図である。
(a)〜(c)は、それぞれ問題種類1〜3に対する実験データの解析結果を示す図である。
符号の説明
1 注意検出装置
2 CPU
3 RAM
4 コンピュータプログラム
5 蓄積部
10 ユーザ
11 入力部
12 機器反応部
14 出力部
15 生体信号検出部
16 信号解析部
17 反応修正部
100 注意検出システム
以下、添付の図面を参照しながら、本発明による情報処理システムおよび情報処理装置の実施形態を説明する。
本実施形態においては、ユーザ脳波の事象関連電位(event−related potential:ERP)を利用した処理を説明する。「事象関連電位」とは、脳波の一部であり、外的あるいは内的な事象に時間的に関連して生じる脳の一過性の電位変動をいう。
本願発明者らは、機器がユーザの期待通りに動作しなかったときにおいて、ユーザ脳波の事象関連電位に特徴が現れることを発見した。より具体的には、ユーザの事象関連電位の波形中の所定の頂点が、動作結果の提示時点から起算して600±50ミリ秒の時間、または750±50ミリ秒の時間に現れることを発見した。
これらの時間の相違は、同一のユーザが同一のコンテンツを見ていたときでも現れていたため、さらに分析を進めた結果、本願発明者らは、ユーザが注意を払っていた対象に依存して時間の相違が生じることを発見した。たとえば機器の提示した同一のコンテンツに対し、ユーザが、ジャンル自体が違うと感じたか、ジャンルは正しいがコンテンツが違うと感じたかなどによって、上述の頂点が現れる時間が相違することを意味する。
そこで、その頂点が現れる時間が、動作結果の提示時点から起算して600±50ミリ秒の時間、または750±50ミリ秒の時間のいずれに近いかを判定すれば、提示されたコンテンツがどのような観点から期待はずれとされたかを検出できる。そして、その判断に基づいて、機器の動作をどのように修正すればよいかが決定できる。
以下では、図9から図13を参照しながら本願発明者が行った実験を説明し、本発明の原理の根拠を立証する。その後、本発明の実施形態を説明する。
1.実験の概要
まず最初に本願発明者らが行った「期待はずれ信号」を取得する実験を説明する。そして提示された情報の何に対してユーザが注意を向けていたかを判別可能であることを示す。
実験においては、画面に表示される「L」か「R」の文字に従って、対応する左クリックまたは右クリックを選択し、「○」が提示されることを期待して、動作結果を確認する、という試行を行った。被験者は正しい選択の結果を表す「○」を期待するものの、20%の確率で表示される「×」に対しては、自分の期待通りの動作が行われない状況になる。この場合にのみ潜時は600ミリ秒付近に現れることを確認した。
「潜時」とは、機器が動作結果を提示した時点を起算点としたときの、ユーザの事象関連電位の陽性の頂点が認められるまでの時間をいう。ここでいう「陽性の頂点」とは、測定された事象関連電位が正の最大値をとる頂点を意味する。ただし、正の最大値に限られない場合もある。たとえば測定時のノイズ除去の影響で、事象関連電位の波形がある箇所だけ急峻に負方向に落ち込んでいることがある。このようなときはその前後の値に基づいて波形を補正し、その落ち込み箇所の補正値が正の最大値となっているときには、その箇所を陽性の頂点として取り扱ってもよい。
本願発明者らは、「○」、「×」といった単純な識別子による期待した動作内容の確認だけでなく、より複雑な基準による動作内容の確認の実験も行った。たとえばテレビで見たい映像の選択操作などの現実の機器のインタフェース操作でも同様の事象関連電位の特徴の出現を確認するための実験を行った。
さらに実験においては、コンテンツの隅に表示されるチャンネル番号のような単純な識別子による期待動作の確認だけでなく、ジャンル名や番組名による行動の選択時に被験者が期待していた内容と、実際に被験者に提示された映像とを比較して、その内容が期待通りであったか否かを判定する場合のユーザの事象関連電位を計測した。
2.実験の詳細
図9は本実験の概要を時系列で示す。図10は実験において使用した問題の例を示す。図11は実験の手順を示す。以下、これらを用いて本実験の内容を説明する。なお、図9に示すS81からS85の記載は、図11に示すS81からS85に対応する。
本実験では、図9に示すように、ディスプレイに提示される問題(ステップS81)に対する行動を4つの選択肢から選び(ステップS82)、被験者が自らの要求としてキーボード等を介して機器に入力し(ステップS83)、その結果ディスプレイに提示された映像が(ステップS84)、要求内容に対して意図した内容であるか否かを判定した際の被験者の反応を脳波計により計測する(ステップS85)。
以下、図11に示すステップS81〜S85を詳細に説明する。
(ステップS81:問題の提示)
図9に示すように、被験者に問題および問題に対する行動の選択肢を同時にディスプレイに表示する。ここでは、問題として、「2chにして下さい」のようにチャンネルの番号のような「識別子による要求に関するもの(問題種類1)」、「野球にして下さい」のように「ジャンルによる番組の要求に関するもの(問題種類2)」、および、「ニュースZにして下さい」のように「番組の内容そのものに関するもの(問題種類3)」の3種類を提示した。また、選択肢は4つとした。例えば図9に示すように、「2chにして下さい」という問題に対して、「A:2ch、B:4ch、C:10ch、D:8ch」などと表示する。
図10には問題種類の違いによる問題の違いの例を示す。表示される情報の評価としてはどの問題においても通常のテレビの画面に対して行うものの、チャンネル番号等の識別子に注目する問題種類1、ジャンルに注目する問題種類2、番組そのものに注目する問題種類3と違う種類の問題を出された場合には、被験者は表示される情報に対しても、それぞれ問題に応じた注意の向け方をする。
(ステップS82:要求の選択)
被験者はステップS81で与えられた問題と選択肢を確認し、問題に対する行動を選択肢の中から選択する。図9の例では、被験者は2chにするため、行動Aを選択する。
(ステップS83:要求の入力)
被験者はステップS82で選択肢した行動を機器に入力する。具体的には選択肢A〜Dに対応するキーボードのキーを入力する。図9の例ではキーボードのキーAを押すことになる。
(ステップS84:動作内容の提示)
ステップS83のキーボード入力の200ms後、65%の確率で「選択した行動の内容に応じた映像」を、35%の確率で「選択した行動の内容とは異なる内容の映像」をディスプレイに提示する。ここでは、2秒間映像を提示し、試行ごとに映像の内容は変更する。映像の提示終了の0.5秒後に次の問題を提示する。
ここで、「選択した行動の内容に応じた映像の提示」および「選択した行動の内容とは異なる内容の映像の提示」の具体例を、問題種類1〜3を挙げてそれぞれ説明する。
問題種類1(識別子による要求に関するもの)
「選択した行動の内容に応じた映像の提示」とは、例えば2chを入力して2chと表示されている映像を提示することである。「選択した行動の内容とは異なる内容の映像の提示」とは、2chを選択して入力したにもかかわらず、4chなどと、異なるチャンネル番号が表示されている映像を提示することである。図9は、2chを選択したにもかかわらず、4chの映像が被験者に提示されている例が示されている。映像のジャンルは天気予報である。
問題種類2(ジャンルによる要求に関するもの)
ジャンルは、「ニュース」、「野球」、「アニメ」、「天気予報」の4種類に区分している。「選択した行動の内容に応じた映像の提示」とは、例えば「野球」というジャンルの入力に対して野球の映像を提示することである。「選択した行動の内容とは異なる内容の映像の提示」とは、「野球」というジャンルを選択して入力したにもかかわらず、「ニュース」や「アニメ」や「天気予報」など、異なるジャンルの映像を提示することである。
問題種類3(内容そのものに関するもの)
ニュース番組として、番組名「ニュースX」、「ニュースY」、「ニュースZ」の3番組を挙げている。「選択した行動の内容に応じた映像の提示」とは、例えば「ニュースX」という番組名の入力に対して「ニュースX」の映像を提示することである。「選択した行動の内容とは異なる内容の映像の提示」とは、「ニュースX」という番組名を選択して入力したにもかかわらず、「ニュースY」や「ニュースZ」など、異なる番組の映像を提示することである。
以上のような問題種類1から3の間には、次のような認知的な複雑さの違いがあると考えられる。すなわち、問題種類1の問題は、2chや4chといった記号の違いを認知することであり、比較的簡単なカテゴリに属する。問題種類2の問題は、ジャンルレベルの識別問題であり、記号だけでなく、図形や物体などから構成された映像をニュースやアニメ、野球といったジャンル別に認知する必要がある。この種類の問題は、記号の違いと同程度に認知が容易であると考えられる。映像の色合いはアニメとそれ以外では明らかに違い、また、天気図、野球場およびニューススタジオ等の映像は明らかに違うためである。カテゴリそのものの違いを見分けることは比較的容易であるといえる。
これに対して、問題種類3の問題は、同じジャンルの映像を、さらに内容によって識別する問題である。例えば、ニュースというジャンルに属する複数の映像を番組の内容によって識別するには、スタジオの形状や、出演しているキャスター、文字スーパーなどさらに細かい特徴まで考慮する必要がある。さらに、野球の例で言えば、「○○対××戦」のような番組内容まで識別しようとすると、球場の違いやユニフォームの違いなど、同様にさらに細かな特徴まで考慮しないと認知できない。すなわち、見て分かる野球場と天気図の違いを識別すればよい問題種類2と、どの野球場なのか、どのチームのユニフォームなのか、非常に似通っているものを識別しなければならない問題種類3とは、認知的複雑さは明らかに相違するといえる。
以上のように、本実験では異なる種類の認知的複雑さを持った問題を被験者に提示している。異なる問題種類において同じ提示画像を用いることにより、単なる画像の違いに対する被験者の反応ではなく、問題種類1〜3のような要求に対して被験者が注意を払う内容の認知的複雑さが異なる場合の、被験者の反応が調べられる。
例えば、図9に示したのと同じ天気予報の画像を用いるとしても、問題を「野球にしてください」として、ジャンルレベルの認知的複雑さをもつ期待を持たせたり、問題を「「○時の天気予報」にして下さい」とすることにより、番組内容レベルの認知的複雑さをもつ期待を持たせたりでき、それらの問題を混ぜて行うことで、単なる画像の違いに対する被験者の反応ではなく、異なる要求内容に対する異なる認知的複雑さをもった期待内容と、提示内容との比較に対するユーザの反応を調べることができる。
(ステップS85:被験者の反応を計測)
ステップS83での映像が提示されたタイミングを起点として、被験者の脳波における事象関連電位を測定する。
図11の手順による試行を1回の実験につき120試行、各被験者につき2回実験を実施し、被験者ごとに合計240試行のデータを計測した。
図12は、被験者の脳波を測定するための電極の貼り付け位置を示す。この貼り付け位置は国際10−20法に従っており、位置関係を明確にするための参考として、図12には被験者の鼻120と左耳121および右耳122とが示されている。図12においては、左耳121および右耳122から等距離にあり、鼻120を通る正中線上の電極には“z”が付される。
事象関連電位を測定するための電極は、1)Pz:正中頭頂、2)3)A1,A2:両耳朶、4)ボディーアース(Z):鼻根部の4箇所に貼り付けた。サンプリング周波数は200Hzとした。
実験データの解析においては、0.05〜10Hzのバンドパスフィルタを用い、ベースライン補正としては刺激提示前200msから0msの波形を用いている。また、本実験では、瞬きによるノイズの混入を防ぐため同時に眼電(EOG)を計測しており、EOG成分の振幅が100μV以上の試行を解析対象のデータから削除した。
図13(a)〜(c)は、それぞれ問題種類1〜3に対する実験データの解析結果を示すグラフである。図13(a)〜(c)の各グラフにおける波形は、3名の被験者から得た電位波形を積算したものであり、横軸は映像の提示からの時間で単位はms、縦軸は電位で単位はμVである。太線31、33、35はそれぞれ入力した要求(選択した行動)と関連しない映像が提示されたときの波形、細線32、34、36はそれぞれ入力した要求(選択した行動)と関連した映像が提示されたときの波形である。
図13(a)および図13(b)の各グラフから、入力した要求(選択した行動)と関連しない映像が提示されたときは(例えば、図13(a)の場合は、2chと入力して4chと表示されている映像が提示された場合などであり、図13(b)の場合は、野球というジャンルを入力して、天気予報の映像が提示された場合などである)、映像の提示から約600ms前後に、通常時とは異なった特徴を持つ事象関連電位が現れていることが分かる。すなわち、実際の機器の操作において、ユーザが期待したとおりに機器が動作した場合と動作しなかった場合では、脳波計で計測される事象関連電位には明確な差が見られることがわかる。
また、図13(c)のグラフにおいて、入力した要求(選択した行動)と関連しない映像が提示されたときの波形35(例えば、「ニュースX」と入力して「ニュースZ」の映像が表示される場合など)と、入力した要求(選択した行動)と関連した映像が提示されたとき(例えば、「ニュースX」と入力して「ニュースX」の映像が表示される場合など)の波形36では、映像の提示から750ms前後に異なる部分が見られる。この場合も同様に、実際の機器の操作において、ユーザが期待したとおりに機器が動作した場合と動作しなかった場合では、脳波計で計測される事象関連電位には明確な差があり、ジャンルではなく、番組名に注目した場合には、先の600ミリとは異なり、750ミリ付近に陽性の頂点を持つ特徴が見られる。
このように、被験者が何に注意を向けてきたかによって、検出される波形、より具体的には潜時が相違する。潜時の違いは、注意を向けていた情報が期待通りであったかどうかを判定するのに要した時間の違いであると考えられる。これは逆に考えると、検出された波形において、同じ期待はずれ状態であっても、潜時の違いによって被験者が何に注意を向けていて期待はずれの状態になったかを検出できるといえる。
従来の事象関連電位の実験においては、単純な視覚入力や聴覚入力に対する反応を調べる実験が大半であった。このような実験では、300ミリ〜450ミリ秒あたりに潜時が観察されることがあった。
本願発明者らが実施した実験のようにテレビの画面を利用する条件下では、問題種類1および2に属するチャンネル番号やジャンルの相違の判別(比較的容易な判別)では600ミリ秒付近に、問題種類3に属するジャンルは同じで番組名のみの相違の判別(複雑な判別)では750ミリ秒付近に、潜時がシフトしたと考えられる。なお、本実験においても、先の実験と同様、ピークの現れる時間は、個人ごとに異なり、また試行ごとにも異なると考えられる。
以上、この実験で明らかになったように、ユーザが期待したとおりに機器が動作した場合と動作しなかった場合とにおいて、脳波計で計測される事象関連電位には明確な差がある。さらにユーザが何に注意を向けていたかによっても事象関連電位の潜時が変化する。この実験によって、この事象関連電位を用いると機器のインタフェースにおいてユーザが何に注意を向けていたかが検出できる。すなわち表示された情報は同一ジャンルにおける期待はずれか、別のジャンルにおける期待はずれが発生しているかが判別できると言える。
3.本実施形態によるシステムの構成
以下、本発明による情報処理システムの実施形態を説明する。情報処理システムは、ユーザの注意が何に向けられているかを検出し、ユーザの期待により近い応答を行うために用いられる。そのため、情報処理システムは「注意検出システム」と呼ぶことができる。
まず図1を参照しながら注意検出システムの具体例を説明し、図2から図8を参照しながら注意検出システムの一般的な構成およびその動作を説明する。
図1は、本実施形態による注意検出システム100の構成例を示す。注意検出システム100は、注意検出装置1と、リモコン11−1と、マイク11−2と、TV14−1と、スピーカ14−2と、生体信号検出部15とを有している。
注意検出システム100の機能を概説する。注意検出システム100を構成する注意検出装置1は、ユーザ10の要求をリモコン11−1やマイク11−2を介して受け取る。そして、その要求に応答して、映像/音声を出力するための処理を実行する。
たとえば「テレビを見たい」というユーザの要求がマイク11−2を介して無線で入力されると、注意検出装置1はテレビに対して電源オンの指示を送るための処理を実行するとともに、放送波の受信処理および選局処理を行う。さらに映像信号および音声信号を分離して出力処理を行う。この結果、TV14−1は映像信号に基づいて番組の映像を表示し、スピーカ14−2は音声信号に基づいてその番組の音声を出力する。
続いて注意検出装置1は、生体信号検出部15から脳波信号を取得する。本実施形態による生体信号検出部15は、ヘッドマウント式脳波計を想定しており、検出した脳波信号を無線で注意検出装置1に送信することができる。なおこの脳波計には、ユーザ10の頭部に装着されたとき、その頭部の所定の位置に接触する電極が配置されている。
すでに説明した「期待はずれ信号」を取得する実験の条件と同様の電極の配置にした場合には、電極は図12に示すPz(正中頭頂)、A1,A2(両耳朶)およびユーザ10の鼻根部に配置される。しかし、電極は最低2個あればよく、例えばPzとA1のみでも電位計測は可能である。この電極位置は、信号測定の信頼性および装着の容易さ等から決定される。この結果、生体信号検出部15はユーザ10の事象関連電位を測定することができる。
注意検出装置1は、受信した脳波信号を解析して、出力結果に対してユーザ10が期待はずれと感じたかどうかを判断する。
期待はずれであると判断したときには、さらに脳波信号のうちの事象関連電位の信号を抽出し、装置が映像を提示してからの経過時間(潜時)を特定する。そして、その潜時が600±50ミリ秒、または、750±50ミリ秒のいずれに近いかを判定する。
潜時が600±50ミリ秒であるときは、提示した番組が明らかな期待はずれであることを意味する。よって、注意検出装置1は現在の番組とは異なるカテゴリに属する他の番組を選局して表示する。一方、潜時が750±50ミリ秒であるときは、提示した番組が希望する番組に比較的近いが、やはり期待はずれであることを意味する。そこで、注意検出装置1は現在表示されている番組と同じカテゴリに属する他の番組を選局して表示する。この結果、ユーザの期待はずれの程度に応じてより適切な番組を出力できる。
なお、注意検出装置1は、番組のチャンネル番号、ジャンル、番組名、視聴履歴などの複数のパラメータからなる番組データベースを保持している。注意検出装置1は、たとえばジャンルによって複数の放送番組をカテゴリごとに分類でき、カテゴリの相違する番組を容易に選択できる。
4.本実施形態によるシステムの詳細な構成
図2は、注意検出システム100の機能ブロックの構成を示す。図2はまた、注意検出装置1の詳細な機能ブロックも示している。ユーザ10のブロックは説明の便宜のために示されている。
注意検出装置1は、有線または無線で入力部11、出力部14および生体信号検出部15と接続され、信号の送信および受信を行う。図2においては、入力部11、出力部14および生体信号検出部15は注意検出装置1とは別体であるが、これは例である。入力部11、出力部14および生体信号検出部15の一部または全部を、注意検出装置1内に設けてもよい。
入力部11は、ユーザ10が操作して注意検出装置1に対する指示を入力する装置である。入力部11は図1のリモコン11−1およびマイク11−2に対応する。この他マウス、キーボード、カメラ、ジャイロセンサ、加速度センサなども含まれる。
出力部14は、注意検出装置1からの信号を受け取って、その信号に基づく内容を出力する装置である。出力部14は、図1のTV14−1およびスピーカ14−2に対応する。出力部14はテキスト文字、合成音声なども出力可能である。なお出力される対象は映像や音声に限られず、たとえばアクチュエータなどの動作としての出力も含まれる。
生体信号検出部15は、ユーザの生体信号を検出する脳波計である。
次に、注意検出装置1の詳細な構成を説明する。
注意検出装置1は、後述の処理を実行するコンピュータシステムとして実現される。注意検出装置1は、中央処理部(CPU)2と、RAM3と、コンピュータプログラム4と、蓄積部5とを含んでいる。
CPU2は、RAM3に格納されたコンピュータプログラム4を実行することにより、そのプログラムの処理手順に従った機能を実現する。本実施形態においては、CPU2は3つの主要な機能を実現する。すなわち
(1)ユーザの要求に基づいて注意検出装置1の反応(出力内容)を決定し、処理を実行する機器反応機能、
(2)生体信号検出部15で検出された生体信号を解析して注目したい情報を取り出す信号解析機能、および
(3)信号解析部16で解析された信号と蓄積部13に蓄えられた動作修正候補から注意検出装置1の反応を修正する反応修正機能
である。本明細書においては、(1)〜(3)の各機能は別々のプログラムによって実現されるとする。ただし、1つのプログラム内の異なる処理モジュールなどとして実現することも可能である。コンピュータプログラムはCD−ROM等のコンピュータによって読み出し可能な記録媒体に記録される。そして、たとえばコンピュータプログラム製品として市場に流通され、または、インターネット等の電気通信回線を通じて伝送される。
図2においては、上述の(1)から(3)に対応する機能を注意検出装置1の構成要素として捉え、それぞれ機器反応部12、信号解析部16および反応修正部17として記載している。上述のように、これらはソフトウェア的に実現することも可能であるが、DSP等のハードウェア的に実現することも可能である。
蓄積部5は、たとえばハードディスクドライブである。蓄積部5は、機器反応部12が反応を決定する際に利用するデータベースを保持するとともに、データベースを利用して生成した機器の動作候補の情報を記憶している。
本実施形態による注意検出システム100は、ユーザが放送番組を視聴する環境において利用されることを想定する。このような想定の下では、蓄積部5は、放送番組に関する番組データベースを保持している。
図3は、蓄積部5に保持された番組データベース51の例を示す。番組データベース51内の各行は、各番組の番組情報に対応する。1つの番組情報は、チャンネル番号パラメータ52、ジャンルパラメータ53、番組名パラメータ54および視聴履歴パラメータ55から構成されている。各パラメータは、順にその番組のチャンネル番号、ジャンル、番組名および視聴履歴を示す情報が記述される。
視聴履歴以外の情報は、番組ガイド情報から生成される。番組ガイド情報とはたとえば電子番組表の生成に利用される情報である。注意検出装置1は放送波や通信ネットワークを介して番組ガイド情報を取得できる。一方、視聴履歴の情報はユーザがその番組を視聴した日時を示す。各番組の視聴履歴の登録数はその番組の視聴頻度(回数)を示している。
5.注意検出システム100の処理
次に、図4のフローチャートを参照しながら、図2の注意検出システム100における全体的な処理の流れを説明する。図4は、注意検出システム100の処理の手順を示す。
ステップS10において、入力部11はユーザ10からの要求の入力を受け付ける。たとえば入力部11は、ユーザから「テレビをつけて」という入力を受け付ける。
ステップS20において、入力された結果を元に、機器反応部12はユーザ10への出力内容を決定する。出力内容はユーザ10の要求に最もかなうように決定される。もしも、ユーザ10の要求が十分に明確でない場合は注意検出装置1は、ユーザ10の要求を推定しなければならない。機器反応部12は、蓄積部5に保持された番組データベース51(図3)を参照して、その時点で放送されている番組のうち、視聴履歴の頻度がもっとも多い番組の選局を決定する。
ステップS30において、出力部14は、決定された出力内容を提示する。ここでは選局された番組の映像および音声が出力される。
次のステップS40では、生体信号検出部15はユーザ10の生体信号を計測する。本発明では脳波計で測定可能な脳電位の変化を記録する。測定方法は、すでに説明した実験の測定方法と同様である。
ステップS50において、信号解析部16は計測された生体信号を解析する。より具体的には、信号解析部16は、生体信号の中でも脳波事象関連電位に注目して、特定の脳波事象関連電位波形が信号の中に含まれているかどうかを判定する。
ステップS60では、反応修正部17は、信号解析結果に基づいて出力内容の修正の要否を決定し、修正が必要な場合には出力内容を修正する。具体的には、解析された生体信号に基づいて、出力内容(すなわち表示されている番組)に問題がないと判定する場合は、反応修正部17は修正を行わない。一方、出力内容はユーザの期待に沿ったものではないと判定する場合は、反応修正部17は出力内容を修正する。このとき次候補となる番組の選局を決定する。
そしてステップS70において、機器反応部12は、ステップS60の処理の結果に基づいて、出力部14を介して内容を再提示する。
以上の処理によれば、注意検出装置1の出力結果がユーザの期待に沿っていなかったときは、ユーザ10が明示的にその意思表示をしなくても注意検出装置1がその出力内容を修正することができる。よって、ユーザ10と注意検出装置1とのインタラクションは、スムーズに行われる。
以下、図5から図8までを参照しながら、上述のステップS20、S50およびS60の処理を詳細に説明する。
6.機器反応部の処理
まず図5のフローチャートを参照しながら、図4のステップS20の処理を詳細に説明する。この処理は機器反応部12によって行われる。
図5は、機器反応部12の処理の手順を示す。
ステップS21では、機器反応部12はユーザ10の入力内容を分析する。そして、機器反応部12は、ユーザ10の要求が注意検出装置1の提供可能なサービスのどれに対応するかを対応付ける。
分析は、例えば音声入力に対しては音声認識プログラムや構文解析プログラムが利用される。ジェスチャ入力に対しては画像認識プログラムが利用される。マウスやキーボードへの入力に対してもどのキーが押されたか等が入出力プログラムによって認識される。
ステップS22では、動作候補のリストアップがされる。一般的にステップS21で行われる処理においては、ユーザ10からの入力を認識する必要がある。しかし、その要求を完全に理解するのは難しい。
たとえば音声認識プログラムがユーザの発話をすべて認識することは困難である。仮に音声認識プログラムの性能が十分だったとしても、ユーザ10の発話する文章の内容があいまい性を含んでいれば、注意検出装置1への動作の指示として不十分なこともある。このようなときには、動作の候補は複数出てきてしまう。
また、「テレビをつけて」という要求については、テレビの電源をONする要求は容易に解釈可能である。しかし、テレビの電源をONにした後にどの番組を最初に表示すればよいかについては、指示がない。よって、最初にどの番組(コンテンツ)を表示するかを決定する必要がある。
そこで、本実施形態においては、機器反応部12はこれまでのユーザ10の視聴頻度の高いものを順番に挙げて動作候補のリストを作成する。具体的には、機器反応部12は、番組データベース51の視聴履歴情報の履歴数に基づいて視聴頻度の高いものを順番に並べ、動作候補のリストを作成する。このように動作候補を決定すれば、注意検出装置1は可能な限りユーザの期待に沿って動作することができる。
図6は、機器反応部12によって作成された動作候補のリスト41を示す。機器反応部12は、要求入力時において視聴可能な番組のうち、視聴頻度の高い番組の情報が順位付けられて配列されている。履歴数が同じ番組に関しては、より最近視聴された番組を上位に配列する等の規則を規定しておけばよい。これらの順位は動作候補のうち信頼度の大きい順を示すといえる。
動作候補のリスト41は、ユーザ10からの要求のあったタイミングやこれまでの視聴履歴から、番組「ニュースX」が動作候補の第1位として挙げられたことがわかる。以下、第2位は番組「ニュースY」、第3位は番組「天気予報C」、第4位は番組「アニメA」と続いている。これらは、どれも「テレビをつけて」という要求にかなっているものの、本当にユーザ10が求めているものはいずれか1つであると考えられる。
また、動作候補第1位として採用された動作と関連して、同じカテゴリに属する動作候補と、別カテゴリに属する動作候補が、それぞれ「同:」「別:」という記号により示されている。このカテゴリは、番組のジャンルによって決定されており、図3に示すジャンルパラメータ53に記述されている。
例えば、第2位の「ニュースY」は第1位の「ニュースX」と同じニュースカテゴリに属するので、「同:」が付与されている。一方、第3位の「天気予報C」や第4位の「アニメA」はニュースではないために「別:」が付与されている。本願発明者らは、このカテゴリ間の異同が脳波事象関連電位に基づいて検出可能であることを発見した。よってカテゴリに関する情報を含めて、次の候補を選出する基準として利用する。
なお図6には、他の要求に対するリスト42および43も示されている。リスト42には「野球を見たい」という要求に対する動作候補が挙げられている。野球を見たいという要求に対して、どの動作候補も要求された文章として要件を満たしている。しかし、テレビ番組として放送されるプロ野球や大リーグの映像を見たい場合と、ユーザ自身が所属する草野球チームの前回の試合の映像を見たい場合とは、ユーザの期待はずれの程度は大きく異なってくる。
またリスト43には、アクチュエータを備えたロボット等に対する「あれ取って」という要求に対する動作候補が挙げられている。後者は図1に示す例とは異なるシステムにおける要求およびリストの例である。ユーザ10が、ロボットに新聞を取ってきてもらいたかった場合は第1位の候補動作を実行するための処理(移動処理、確保処理等)が実行されて特に問題がない。しかし新聞以外の物を希望していたときは、めがねが欲しかったのか、郵便物が欲しかったのかによって、ユーザの期待はずれの程度は大きく異なってくる。
再び図5を参照する。ステップS23では、機器反応部12は、得られた動作候補のリストを蓄積部13に保存する。この動作候補のリストは、ユーザ10に提示した情報がユーザ10にとって期待通りのものではなかった場合(後述)に、動作を出力するための検討データになる。
ステップS24では、機器反応部12は、ステップS23に蓄積された今回の動作候補のリストのうち、最も信頼度の高い候補を選択して、出力動作として決定する。複数の動作候補が決定される際には、何らかの推定動作の確からしさの基準が決定される。これは一般的に信頼度などと呼ばれ、動作候補を算出する際に各動作候補に付与される。例えばこれまでのユーザ10の動作の選択頻度や、プロファイル情報などから設定され、この値が最も高い候補が出力される。
ユーザが普段、人間同士で行っている会話の中には、それまでの文脈などを参照して初めて内容が特定されるような、あいまいさを含んだ発話が存在する。これらを正しく解釈して、ユーザに対応することは、ユーザに親しまれつつ使われる注意検出装置1やロボットには必須の機能である。
よって上述の処理によれば、注意検出装置1はユーザ10の要求を受けて、可能な限りユーザの期待に沿うように動作することができる。ただし、最初に採用された動作候補は、必ずしもユーザの期待に沿っているとは限らない。そのようなときは、すぐに正しい動作に修正できることも有効な機能になる。そこで図4のステップS50およびS60の処理が必要となる。
7.信号解析部の処理
次に図7のフローチャートを参照しながら、図4のステップS50の処理を詳細に説明する。この処理は信号解析部16によって行われる。
図7は、信号解析部16の処理の手順を示す。
ステップS51では、信号解析部16は、取得された脳波信号とテンプレートとの相関計算を行い、どちらのテンプレートと現在の波形が相関しているかを算出する。
テンプレートとは、区別したい状態の典型的な波形をいう。テンプレートとしては、ユーザが期待はずれ状態にあるときの波形のテンプレート、および、ユーザが期待はずれ状態にないときの波形のテンプレートの2種類を事前の実験等により準備しておく。例えば、それぞれの状態の波形の加算平均などにより作成可能である。そして、各々のデータを蓄積部5に格納しておく。
相関計算によって、ユーザが期待はずれ状態にあるかどうかを判定することが可能である。なお相関計算方法は周知である。たとえば信号解析部16は、特許文献1の図8に記載されるマハラノビス距離を用いて判別率を用いて判別を行う処理を利用して相関計算を行えばよい。本明細書においては、その詳細な説明は省略する。
ステップS52では、信号解析部16は、ステップS51で計算された相関値の大きさによって処理を切り換える。もしも、期待はずれ時のテンプレートとの相関のほうが高い場合は、信号解析部16は期待はずれ信号が含まれていたと判定する。そして処理はステップS54に進む。一方、期待はずれでない時のテンプレートとの相関のほうが高い場合は、信号解析部16は、期待はずれ信号は含まれていないと判定する。そして処理はステップS53に進む。
ステップS53では、信号解析部16は期待はずれ信号が含まれていなかったと判定して、この注意検出処理は終了する。
ステップS54では、信号解析部16は、検出された脳波波形に基づいて事象関連電位の陽性の頂点を特定し、番組表示時点を起算点としたときの、その頂点が認められるまでの時間(潜時)を算出する。すでに説明したように、潜時は、ユーザ10の期待との相違の程度を判定する信号になりえる。そして、算出された潜時が750ミリ秒よりも600ミリ秒に近い場合は、処理はステップS55にすすみ、そうでない場合はステップS56に進む。なお、600ミリ秒および750ミリ秒は厳密でなくてもよい。個人差等を考慮すると、それぞれ±50ミリ秒程度の幅を持たせることが好ましい。
ステップS55では、信号解析部16は、表示されている番組のカテゴリはユーザ10の期待していた番組のカテゴリとは相違すると判定する。そして注意検出処理は終了する。
ステップS56では、信号解析部16は、表示されている番組のカテゴリはユーザ10の期待していた番組のカテゴリと一致するが、コンテンツ(番組)自体は異なっていると判定する。そして注意検出処理は終了する。
このような処理を行うことで、ユーザ10の脳波を分類して、現在ユーザ10は、注意検出装置1の出力に対して期待はずれを感じているかどうか、また期待はずれを感じているとすれば、その期待はずれの程度を判別できる。この処理は、ユーザがどの側面に注意を払って情報を見ていたかを判別する処理であるといえる。このためステップS50の処理を注意検出処理と呼んでいる。
なお、上記の実施の形態では、テンプレートは期待はずれ信号の有無の判断についてのみ使用したが、このほかにも、3種類のテンプレート(期待はずれがない場合のテンプレート、別カテゴリの期待はずれがある場合のテンプレート、同一カテゴリの期待はずれがある場合のテンプレート)を用意して、どのテンプレートと最も相関が高いかを判定する方法も考えられる。この場合は、前記3種類の各テンプレートに対して、ステップS53、ステップS55、ステップS56の判定を行うことで、同一の効果が得られる。
8.反応修正部の処理
次に図8のフローチャートを参照しながら、図4のステップS60の処理を詳細に説明する。この処理は反応修正部17によって行われる。
図8は、反応修正部17の処理の手順を示す。
ステップS61では、信号解析部16(ステップS50)で行われた解析結果を抽出する。解析結果とは、図7のステップS54の判定結果、ステップS53、S55またはS56の判定結果を意味する。
ステップS62では、反応修正部17は期待はずれの有無を判断する。図7のステップS53による期待はずれなしの判定がされていれば、処理はステップS63に進む。ステップS63では、反応修正部17は、動作の修正は必要ないとして処理は終了する。
ステップS64では、反応修正部17は、信号解析部16によって別カテゴリとの判定がされていたか否かを判断する。図7のステップS55による別カテゴリの判定がされていれば、処理はステップS65に進む。一方、別カテゴリの判定がされていなければ、換言すれば図7のステップS56により同一カテゴリとの判定がされていれば、処理はステップS67に進む。
ステップS65では、反応修正部17は蓄積部13に蓄積された動作候補リスト41を抽出して、次のステップS66を実行する。そしてステップS66では、ステップS65で抽出した動作候補に基づいて別のジャンルの番組を選択し、選択した番組の選局を決定する。
図6に示す動作候補リスト41の例で説明する。ステップS65およびS66が実行されるときは、動作候補第1位の「ニュースX」に対して、ユーザ10はその機器動作は期待はずれであり、かつ「ニュースX」とは別のカテゴリの番組を期待していたことを意味する。よって反応修正部17は、動作候補リスト41の優先順位の上から順に別カテゴリの番組を検索する。そして第3位の「天気予報C」を選局候補として抽出する。そしてステップS66によって、現在の「ニュースX」を「天気予報C」に修正する。
次にステップS67およびステップS68を説明する。ステップS67では、反応修正部17は蓄積部13に蓄積された動作候補リスト41を抽出して、次のステップS68を実行する。ステップS68では、反応修正部17はステップS67で抽出した動作候補に基づいて同じジャンルの番組を選択し、選択した番組の選局を決定する。
図6に示す動作候補リスト41の例で説明する。ステップS67およびS68が実行されるときは、動作候補第1位の「ニュースX」に対して、ユーザ10はその機器動作は期待はずれであるが、「ニュースX」とは同一カテゴリの番組を期待していたことを意味する。よって反応修正部17は、動作候補リスト41の優先順位の上から順に同じカテゴリの番組を検索する。そして第2位の「ニュースY」を動作候補として抽出する。そしてステップS68によって、現在の「ニュースX」を「ニュースY」に修正する。この結果、「ニュースY」が出力されてユーザの期待に沿うことができる。なお「ニュースY」が選局されることによって、番組データベース51の視聴履歴が更新される。
このような処理によって、ユーザ10の期待はずれ信号を検出して、その期待はずれは何に注意を払っていて発生したものかを判断した上で、動作を修正して、ユーザ10の期待になるべく近い動作を提供することが実現される。
上述の注意検出システム100の構成および動作によれば、潜時が600ミリ秒前後で計測されたかまたは750ミリ秒前後で計測されたかに応じて、機器が次に行うべき動作処理を変化させている。潜時が600ミリ秒前後で計測された場合には、カテゴリ自体がユーザの期待と異なっていたとして、機器は現在の動作処理と異なるカテゴリの処理を実行する。一方、潜時が750ミリ秒前後で計測された場合には、カテゴリは同一であるがコンテンツがユーザの期待と異なっていたとして、機器は現在の動作処理と同じカテゴリの処理を実行する。これにより、もしもユーザの要望どおりに機器が動作しなかった場合においても、ユーザが明示的に指定せずに、機器がユーザの注意に合わせて動作を修正することが可能となる。
以上、本発明の実施形態を説明した。
上述の図7においては、ステップS52で期待はずれ信号の有無を判定し、その後のステップS54において潜時が認められる時間を判定していた。しかし、この2つのステップは1つに統合することも可能である。たとえばステップS51において利用するテンプレートを、600ミリ秒前後で陽性の頂点が現れる波形のテンプレート、750ミリ秒前後で陽性の頂点が現れる波形のテンプレート、および、ユーザが期待はずれ状態にないときの波形のテンプレートの3種類とする。そして、取得された脳波信号(事象関連電位)と3種類のテンプレートとの相関計算を行う。これにより、期待はずれの有無のみならず、潜時が600ミリ秒前後か750ミリ秒前後かの結果を同時に出力できる。
上述の図4に示すステップS60においては、その時点におけるユーザ10に対する情報が修正される。しかし次に動作候補リストを生成するときには、機器反応部12は最初から修正結果を反映したリストを作成してもよい。これにより、動作候補生成処理がユーザの生体信号を用いて学習され、徐々に、期待はずれの信号が検出されない状態に移行できる。
本実施形態においては、「テレビをつけて」というユーザからのあいまいな指示に対する対応方法を説明し、さらに図6においては「野球を見たい」、「あれ取って」という曖昧な指示の例を挙げた。しかし、ユーザがあいまいな指示をした場合に推定を間違えたときの修正方法は種々考えられる。
例えば、ユーザが特定のコンテンツを指定するのが困難な、パソコンに保存してある大量のデジタルカメラで撮影した写真の検索やなどがある。特定の写真を検索したいときに、「遊園地に行ったときの写真」と指定されても、何枚もありその場合に特定の写真を表示しても推定が外れる場合もある。この場合においても、最初家族の写真を提示したときに、期待はずれが発生した場合、同一カテゴリであれば別の場所で撮影した家族の写真を表示すればよいし、別カテゴリであれば人の写っていない風景の写真を表示するなどが考えられる。
また、ユーザが電話をかけたい場合も、パソコンに電子的に保存された電話リストを指定して電話をする状況において、「取引先のAさん」などと指定された場合も、Aさんが複数の取引先にいるかもしれないし、同じ取引先内にもいるかもしれない。このような時も、もしも違っていた場合は、脳波によって期待はずれの信号を取得して、ユーザの所望の検索結果に早く到達できる。
本発明の情報処理装置および情報処理システムは、生体信号検出部および信号解析部を有しており、生体信号を解析することで、機器の動作の何に期待はずれを感じているかを判定できる。そして、その期待はずれの程度に応じて処理の内容を修正する。これにより、ユーザとの情報のやりとりを行う情報機器や映像音響機器などのインタフェースの改善に有用である。また、ユーザにサービスを提供する機器、ロボットや家電製品への搭載および応用が可能である。
本発明は、ユーザに情報やサービスを提供する技術に関する。より具体的には、本発明はユーザの脳波などの生体信号を利用して、適切な情報やサービスを選択して提供する機器、方法、およびそのような機器において実行されるコンピュータプログラムに関する。
近年、情報機器や映像音響機器において取り扱われる情報(コンテンツ)の量は膨大になっている。そのため、ユーザはコンテンツを正確に特定して機器に指示しなければ、機器は適切なコンテンツを提供できない。
例えば、ユーザが野球の映像を見たいと思ったとき、「野球を見たい」とユーザが指示すれば希望する野球番組を受信し表示する機器が提案されている。当該機器は、ユーザが見たい野球の映像はその時点で放送されている野球番組であるとして動作する。提案された当初は、機器はそのように動作すればユーザの期待に十分応えることができた。しかし、現在は野球に関連する映像は多岐にわたっており、たとえば日本のプロ野球番組、高校野球番組、アメリカ大リーグ番組、さらにはユーザが所属している草野球チームの先週の試合のビデオ映像までもが視聴の対象になり得る。したがって、ユーザがどの野球を見たいかを正確に特定して指示しなければ、機器はユーザの希望する野球の映像を提供できない。
コンテンツを特定して機器に指示するために、ユーザは非常に煩雑な作業を強いられる。よって、その作業を如何に減らせるかは機器の性能を決める重要な指標の1つとなる。
たとえば、ユーザからあいまい性を含んだ要求を受け取ったときは、機器は適切と考えられるコンテンツをユーザに提供できることが好ましい。また、機器の選択がユーザの意図に沿わないときは、機器はそのような状況の発生を把握し、より適切なコンテンツを提供する処理を行うことが好ましい。たとえば機器がユーザに対しコンテンツに関する更なる情報を要求したり、機器がユーザの操作履歴などに基づいて他のコンテンツを選択して提供できれば、利便性が高まる。
特許文献1には、ユーザの脳波に基づいてユーザの意図を推定し、自らの動作を制御するサービス提供装置が開示されている。この装置は、ユーザの要求に対して応答した後、ユーザの生体信号を検出する。そして、その信号から応答した内容が期待はずれであったかどうかを推定し、期待はずれであると判断すると応答内容を修正している。
国際公開第2005/001677号パンフレット
従来の機器はユーザの生体信号に基づいて応答内容を修正するが、修正後の内容がユーザの期待に合致するか否かは不明である。その理由は、機器は応答内容をどのように修正すべきかを考慮していないからである。機器は、応答内容がユーザにとって期待はずれであったか否かを2値的に判断するにとどまり、ユーザがどのような観点からその内容が期待はずれであると考えたのか分析することはない。よって、修正後の内容もまた、ユーザにとって期待はずれとなる可能性がある。
本発明の目的は、ユーザがあいまい性を含んだ要求を入力したときでも、可能な限りユーザの期待に沿って動作する技術を提供することである。特に、ユーザの期待通りに動作できなかった場合において、どのような観点から期待通りではなかったかを判断して、より期待に近い応答を行う技術を提供することである。
本発明による情報処理システムは、ユーザの要求に基づいて第1処理を実行する反応部と、処理の結果を出力する出力部と、ユーザ脳波の事象関連電位に関する信号を計測する信号検出部と、前記結果が出力されてから、前記事象関連電位の陽性の頂点が現れるまでの経過時間が、第1基準時間および第2基準時間のいずれに近いかを判定する解析部と、判定結果に応じて第2処理を決定する反応修正部とを備えている。前記反応部は前記第2処理を実行する。
前記解析部は、前記第1基準時間を600±50ミリ秒とし、前記第2基準時間を750±50ミリ秒として判定してもよい。
前記情報処理システムは、処理の実行に利用される複数のパラメータを保持する蓄積部をさらに備えていてもよい。前記複数のパラメータの各々は複数のカテゴリに分類可能である。前記反応修正部は、前記経過時間が前記第1基準時間である600±50ミリ秒に近いことを示す判定結果を受け取ったときは、前記第1処理に利用されたパラメータと異なるカテゴリに属するパラメータを選択し、前記経過時間が前記第2基準時間である750±50ミリ秒に近いことを示す判定結果を受け取ったときは、前記第1処理に利用されたパラメータと同じカテゴリに属するパラメータを選択して、選択したパラメータを利用する処理を前記第2処理として決定してもよい。
前記蓄積部は、各パラメータの利用頻度を示す履歴情報を保持していてもよく、前記反応部は、前記履歴情報に基づいてパラメータを選択し、選択した前記パラメータを利用して前記第1処理を実行してもよい。
前記反応修正部は、まだ選択されていないパラメータのうち、前記利用頻度が最も高いパラメータを選択して前記第2処理を決定してもよい。
前記第2処理の実行に応じて、前記蓄積部は前記第2処理に利用されたパラメータの履歴情報を更新してもよい。
映像および音声の少なくとも1つに関する第1コンテンツおよび第2コンテンツに関し、前記反応部は、前記第1コンテンツの出力処理を前記第1処理として実行し、前記第1コンテンツとは異なる第2コンテンツの出力処理を前記第2処理として実行してもよい。
本発明による情報処理装置は、入力装置、出力装置および信号検出装置と接続される。前記入力装置は、ユーザの要求を受け取る手段を備え、前記出力装置は、受け取った信号を出力する手段を備え、前記信号検出装置は、ユーザ脳波の事象関連電位に関する信号を計測する手段を備えている。前記情報処理装置は、前記入力装置からの前記ユーザの要求に基づいて第1処理を実行して信号を出力する反応部と、前記事象関連電位に関する信号に基づいて、前記事象関連電位の陽性の頂点を特定し、前記結果が出力されてから前記頂点が現れるまでの経過時間が、第1基準時間および第2基準時間のいずれに近いかを判定する解析部と、判定結果に応じて第2処理を決定する反応修正部とを備えている。前記反応部は前記第2処理を実行して信号を出力する。
本発明による情報処理方法は、ユーザの要求に基づいて第1処理を実行するステップと、処理の結果を出力するステップと、ユーザ脳波の事象関連電位に関する信号を計測するステップと、前記信号から前記事象関連電位の陽性の頂点を特定するステップと、前記結果が出力されてから前記頂点が現れるまでの経過時間が、第1基準時間および第2基準時間のいずれに近いかを判定するステップと、判定結果に応じて第2処理を決定するステップと、前記第2処理を実行するステップとを包含する。
本発明によるコンピュータプログラムは、コンピュータにおいて実行可能である。前記コンピュータプログラムは、記録媒体に記録され、コンピュータによって読み出される。読み出された前記コンピュータプログラムは、前記コンピュータに、入力装置から入力されたユーザの要求に基づいて第1処理を実行するステップと、処理の結果を出力装置に出力するステップと、検出装置によって検出されたユーザ脳波の事象関連電位に関する信号を受信するステップと、前記信号から前記事象関連電位の陽性の頂点を特定するステップと、前記結果が出力されてから前記頂点が現れるまでの経過時間が、第1基準時間および第2準時間のいずれに近いかを判定するステップと、判定結果に応じて第2処理を実行するステップとを実行させる。
本発明によれば、ユーザが期待はずれと感じた時にその期待はずれを示す信号の性質を判定する。そしてその判定結果に基づいて機器の動作を修正する。ユーザが注意を向けていた対象に適合するように機器の動作を修正するため、ユーザの期待に沿う結果をユーザに提供できる。
以下、添付の図面を参照しながら、本発明による情報処理システムおよび情報処理装置の実施形態を説明する。
本実施形態においては、ユーザ脳波の事象関連電位(event−related potential:ERP)を利用した処理を説明する。「事象関連電位」とは、脳波の一部であり、外的あるいは内的な事象に時間的に関連して生じる脳の一過性の電位変動をいう。
本願発明者らは、機器がユーザの期待通りに動作しなかったときにおいて、ユーザ脳波の事象関連電位に特徴が現れることを発見した。より具体的には、ユーザの事象関連電位の波形中の所定の頂点が、動作結果の提示時点から起算して600±50ミリ秒の時間、または750±50ミリ秒の時間に現れることを発見した。
これらの時間の相違は、同一のユーザが同一のコンテンツを見ていたときでも現れていたため、さらに分析を進めた結果、本願発明者らは、ユーザが注意を払っていた対象に依存して時間の相違が生じることを発見した。たとえば機器の提示した同一のコンテンツに対し、ユーザが、ジャンル自体が違うと感じたか、ジャンルは正しいがコンテンツが違うと感じたかなどによって、上述の頂点が現れる時間が相違することを意味する。
そこで、その頂点が現れる時間が、動作結果の提示時点から起算して600±50ミリ秒の時間、または750±50ミリ秒の時間のいずれに近いかを判定すれば、提示されたコンテンツがどのような観点から期待はずれとされたかを検出できる。そして、その判断に基づいて、機器の動作をどのように修正すればよいかが決定できる。
以下では、図9から図13を参照しながら本願発明者が行った実験を説明し、本発明の原理の根拠を立証する。その後、本発明の実施形態を説明する。
1.実験の概要
まず最初に本願発明者らが行った「期待はずれ信号」を取得する実験を説明する。そして提示された情報の何に対してユーザが注意を向けていたかを判別可能であることを示す。
実験においては、画面に表示される「L」か「R」の文字に従って、対応する左クリックまたは右クリックを選択し、「○」が提示されることを期待して、動作結果を確認する、という試行を行った。被験者は正しい選択の結果を表す「○」を期待するものの、20%の確率で表示される「×」に対しては、自分の期待通りの動作が行われない状況になる。この場合にのみ潜時は600ミリ秒付近に現れることを確認した。
「潜時」とは、機器が動作結果を提示した時点を起算点としたときの、ユーザの事象関連電位の陽性の頂点が認められるまでの時間をいう。ここでいう「陽性の頂点」とは、測定された事象関連電位が正の最大値をとる頂点を意味する。ただし、正の最大値に限られない場合もある。たとえば測定時のノイズ除去の影響で、事象関連電位の波形がある箇所だけ急峻に負方向に落ち込んでいることがある。このようなときはその前後の値に基づいて波形を補正し、その落ち込み箇所の補正値が正の最大値となっているときには、その箇所を陽性の頂点として取り扱ってもよい。
本願発明者らは、「○」、「×」といった単純な識別子による期待した動作内容の確認だけでなく、より複雑な基準による動作内容の確認の実験も行った。たとえばテレビで見たい映像の選択操作などの現実の機器のインタフェース操作でも同様の事象関連電位の特徴の出現を確認するための実験を行った。
さらに実験においては、コンテンツの隅に表示されるチャンネル番号のような単純な識別子による期待動作の確認だけでなく、ジャンル名や番組名による行動の選択時に被験者が期待していた内容と、実際に被験者に提示された映像とを比較して、その内容が期待通りであったか否かを判定する場合のユーザの事象関連電位を計測した。
2.実験の詳細
図9は本実験の概要を時系列で示す。図10は実験において使用した問題の例を示す。図11は実験の手順を示す。以下、これらを用いて本実験の内容を説明する。なお、図9に示すS81からS85の記載は、図11に示すS81からS85に対応する。
本実験では、図9に示すように、ディスプレイに提示される問題(ステップS81)に対する行動を4つの選択肢から選び(ステップS82)、被験者が自らの要求としてキーボード等を介して機器に入力し(ステップS83)、その結果ディスプレイに提示された映像が(ステップS84)、要求内容に対して意図した内容であるか否かを判定した際の被験者の反応を脳波計により計測する(ステップS85)。
以下、図11に示すステップS81〜S85を詳細に説明する。
(ステップS81:問題の提示)
図9に示すように、被験者に問題および問題に対する行動の選択肢を同時にディスプレイに表示する。ここでは、問題として、「2chにして下さい」のようにチャンネルの番号のような「識別子による要求に関するもの(問題種類1)」、「野球にして下さい」のように「ジャンルによる番組の要求に関するもの(問題種類2)」、および、「ニュースZにして下さい」のように「番組の内容そのものに関するもの(問題種類3)」の3種類を提示した。また、選択肢は4つとした。例えば図9に示すように、「2chにして下さい」という問題に対して、「A:2ch、B:4ch、C:10ch、D:8ch」などと表示する。
図10には問題種類の違いによる問題の違いの例を示す。表示される情報の評価としてはどの問題においても通常のテレビの画面に対して行うものの、チャンネル番号等の識別子に注目する問題種類1、ジャンルに注目する問題種類2、番組そのものに注目する問題種類3と違う種類の問題を出された場合には、被験者は表示される情報に対しても、それぞれ問題に応じた注意の向け方をする。
(ステップS82:要求の選択)
被験者はステップS81で与えられた問題と選択肢を確認し、問題に対する行動を選択肢の中から選択する。図9の例では、被験者は2chにするため、行動Aを選択する。
(ステップS83:要求の入力)
被験者はステップS82で選択肢した行動を機器に入力する。具体的には選択肢A〜Dに対応するキーボードのキーを入力する。図9の例ではキーボードのキーAを押すことになる。
(ステップS84:動作内容の提示)
ステップS83のキーボード入力の200ms後、65%の確率で「選択した行動の内容に応じた映像」を、35%の確率で「選択した行動の内容とは異なる内容の映像」をディスプレイに提示する。ここでは、2秒間映像を提示し、試行ごとに映像の内容は変更する。映像の提示終了の0.5秒後に次の問題を提示する。
ここで、「選択した行動の内容に応じた映像の提示」および「選択した行動の内容とは異なる内容の映像の提示」の具体例を、問題種類1〜3を挙げてそれぞれ説明する。
問題種類1(識別子による要求に関するもの)
「選択した行動の内容に応じた映像の提示」とは、例えば2chを入力して2chと表示されている映像を提示することである。「選択した行動の内容とは異なる内容の映像の提示」とは、2chを選択して入力したにもかかわらず、4chなどと、異なるチャンネル番号が表示されている映像を提示することである。図9は、2chを選択したにもかかわらず、4chの映像が被験者に提示されている例が示されている。映像のジャンルは天気予報である。
問題種類2(ジャンルによる要求に関するもの)
ジャンルは、「ニュース」、「野球」、「アニメ」、「天気予報」の4種類に区分している。「選択した行動の内容に応じた映像の提示」とは、例えば「野球」というジャンルの入力に対して野球の映像を提示することである。「選択した行動の内容とは異なる内容の映像の提示」とは、「野球」というジャンルを選択して入力したにもかかわらず、「ニュース」や「アニメ」や「天気予報」など、異なるジャンルの映像を提示することである。
問題種類3(内容そのものに関するもの)
ニュース番組として、番組名「ニュースX」、「ニュースY」、「ニュースZ」の3番組を挙げている。「選択した行動の内容に応じた映像の提示」とは、例えば「ニュースX」という番組名の入力に対して「ニュースX」の映像を提示することである。「選択した行動の内容とは異なる内容の映像の提示」とは、「ニュースX」という番組名を選択して入力したにもかかわらず、「ニュースY」や「ニュースZ」など、異なる番組の映像を提示することである。
以上のような問題種類1から3の間には、次のような認知的な複雑さの違いがあると考えられる。すなわち、問題種類1の問題は、2chや4chといった記号の違いを認知することであり、比較的簡単なカテゴリに属する。問題種類2の問題は、ジャンルレベルの識別問題であり、記号だけでなく、図形や物体などから構成された映像をニュースやアニメ、野球といったジャンル別に認知する必要がある。この種類の問題は、記号の違いと同程度に認知が容易であると考えられる。映像の色合いはアニメとそれ以外では明らかに違い、また、天気図、野球場およびニューススタジオ等の映像は明らかに違うためである。カテゴリそのものの違いを見分けることは比較的容易であるといえる。
これに対して、問題種類3の問題は、同じジャンルの映像を、さらに内容によって識別する問題である。例えば、ニュースというジャンルに属する複数の映像を番組の内容によって識別するには、スタジオの形状や、出演しているキャスター、文字スーパーなどさらに細かい特徴まで考慮する必要がある。さらに、野球の例で言えば、「○○対××戦」のような番組内容まで識別しようとすると、球場の違いやユニフォームの違いなど、同様にさらに細かな特徴まで考慮しないと認知できない。すなわち、見て分かる野球場と天気図の違いを識別すればよい問題種類2と、どの野球場なのか、どのチームのユニフォームなのか、非常に似通っているものを識別しなければならない問題種類3とは、認知的複雑さは明らかに相違するといえる。
以上のように、本実験では異なる種類の認知的複雑さを持った問題を被験者に提示している。異なる問題種類において同じ提示画像を用いることにより、単なる画像の違いに対する被験者の反応ではなく、問題種類1〜3のような要求に対して被験者が注意を払う内容の認知的複雑さが異なる場合の、被験者の反応が調べられる。
例えば、図9に示したのと同じ天気予報の画像を用いるとしても、問題を「野球にしてください」として、ジャンルレベルの認知的複雑さをもつ期待を持たせたり、問題を「「○時の天気予報」にして下さい」とすることにより、番組内容レベルの認知的複雑さをもつ期待を持たせたりでき、それらの問題を混ぜて行うことで、単なる画像の違いに対する被験者の反応ではなく、異なる要求内容に対する異なる認知的複雑さをもった期待内容と、提示内容との比較に対するユーザの反応を調べることができる。
(ステップS85:被験者の反応を計測)
ステップS83での映像が提示されたタイミングを起点として、被験者の脳波における事象関連電位を測定する。
図11の手順による試行を1回の実験につき120試行、各被験者につき2回実験を実施し、被験者ごとに合計240試行のデータを計測した。
図12は、被験者の脳波を測定するための電極の貼り付け位置を示す。この貼り付け位置は国際10−20法に従っており、位置関係を明確にするための参考として、図12には被験者の鼻120と左耳121および右耳122とが示されている。図12においては、左耳121および右耳122から等距離にあり、鼻120を通る正中線上の電極には“z”が付される。
事象関連電位を測定するための電極は、1)Pz:正中頭頂、2)3)A1,A2:両耳朶、4)ボディーアース(Z):鼻根部の4箇所に貼り付けた。サンプリング周波数は200Hzとした。
実験データの解析においては、0.05〜10Hzのバンドパスフィルタを用い、ベースライン補正としては刺激提示前200msから0msの波形を用いている。また、本実験では、瞬きによるノイズの混入を防ぐため同時に眼電(EOG)を計測しており、EOG成分の振幅が100μV以上の試行を解析対象のデータから削除した。
図13(a)〜(c)は、それぞれ問題種類1〜3に対する実験データの解析結果を示すグラフである。図13(a)〜(c)の各グラフにおける波形は、3名の被験者から得た電位波形を積算したものであり、横軸は映像の提示からの時間で単位はms、縦軸は電位で単位はμVである。太線31、33、35はそれぞれ入力した要求(選択した行動)と関連しない映像が提示されたときの波形、細線32、34、36はそれぞれ入力した要求(選択した行動)と関連した映像が提示されたときの波形である。
図13(a)および図13(b)の各グラフから、入力した要求(選択した行動)と関連しない映像が提示されたときは(例えば、図13(a)の場合は、2chと入力して4chと表示されている映像が提示された場合などであり、図13(b)の場合は、野球というジャンルを入力して、天気予報の映像が提示された場合などである)、映像の提示から約600ms前後に、通常時とは異なった特徴を持つ事象関連電位が現れていることが分かる。すなわち、実際の機器の操作において、ユーザが期待したとおりに機器が動作した場合と動作しなかった場合では、脳波計で計測される事象関連電位には明確な差が見られることがわかる。
また、図13(c)のグラフにおいて、入力した要求(選択した行動)と関連しない映像が提示されたときの波形35(例えば、「ニュースX」と入力して「ニュースZ」の映像が表示される場合など)と、入力した要求(選択した行動)と関連した映像が提示されたとき(例えば、「ニュースX」と入力して「ニュースX」の映像が表示される場合など)の波形36では、映像の提示から750ms前後に異なる部分が見られる。この場合も同様に、実際の機器の操作において、ユーザが期待したとおりに機器が動作した場合と動作しなかった場合では、脳波計で計測される事象関連電位には明確な差があり、ジャンルではなく、番組名に注目した場合には、先の600ミリとは異なり、750ミリ付近に陽性の頂点を持つ特徴が見られる。
このように、被験者が何に注意を向けてきたかによって、検出される波形、より具体的には潜時が相違する。潜時の違いは、注意を向けていた情報が期待通りであったかどうかを判定するのに要した時間の違いであると考えられる。これは逆に考えると、検出された波形において、同じ期待はずれ状態であっても、潜時の違いによって被験者が何に注意を向けていて期待はずれの状態になったかを検出できるといえる。
従来の事象関連電位の実験においては、単純な視覚入力や聴覚入力に対する反応を調べる実験が大半であった。このような実験では、300ミリ〜450ミリ秒あたりに潜時が観察されることがあった。
本願発明者らが実施した実験のようにテレビの画面を利用する条件下では、問題種類1および2に属するチャンネル番号やジャンルの相違の判別(比較的容易な判別)では600ミリ秒付近に、問題種類3に属するジャンルは同じで番組名のみの相違の判別(複雑な判別)では750ミリ秒付近に、潜時がシフトしたと考えられる。なお、本実験においても、先の実験と同様、ピークの現れる時間は、個人ごとに異なり、また試行ごとにも異なると考えられる。
以上、この実験で明らかになったように、ユーザが期待したとおりに機器が動作した場合と動作しなかった場合とにおいて、脳波計で計測される事象関連電位には明確な差がある。さらにユーザが何に注意を向けていたかによっても事象関連電位の潜時が変化する。この実験によって、この事象関連電位を用いると機器のインタフェースにおいてユーザが何に注意を向けていたかが検出できる。すなわち表示された情報は同一ジャンルにおける期待はずれか、別のジャンルにおける期待はずれが発生しているかが判別できると言える。
3.本実施形態によるシステムの構成
以下、本発明による情報処理システムの実施形態を説明する。情報処理システムは、ユーザの注意が何に向けられているかを検出し、ユーザの期待により近い応答を行うために用いられる。そのため、情報処理システムは「注意検出システム」と呼ぶことができる。
まず図1を参照しながら注意検出システムの具体例を説明し、図2から図8を参照しながら注意検出システムの一般的な構成およびその動作を説明する。
図1は、本実施形態による注意検出システム100の構成例を示す。注意検出システム100は、注意検出装置1と、リモコン11−1と、マイク11−2と、TV14−1と、スピーカ14−2と、生体信号検出部15とを有している。
注意検出システム100の機能を概説する。注意検出システム100を構成する注意検出装置1は、ユーザ10の要求をリモコン11−1やマイク11−2を介して受け取る。そして、その要求に応答して、映像/音声を出力するための処理を実行する。
たとえば「テレビを見たい」というユーザの要求がマイク11−2を介して無線で入力されると、注意検出装置1はテレビに対して電源オンの指示を送るための処理を実行するとともに、放送波の受信処理および選局処理を行う。さらに映像信号および音声信号を分離して出力処理を行う。この結果、TV14−1は映像信号に基づいて番組の映像を表示し、スピーカ14−2は音声信号に基づいてその番組の音声を出力する。
続いて注意検出装置1は、生体信号検出部15から脳波信号を取得する。本実施形態による生体信号検出部15は、ヘッドマウント式脳波計を想定しており、検出した脳波信号を無線で注意検出装置1に送信することができる。なおこの脳波計には、ユーザ10の頭部に装着されたとき、その頭部の所定の位置に接触する電極が配置されている。
すでに説明した「期待はずれ信号」を取得する実験の条件と同様の電極の配置にした場合には、電極は図12に示すPz(正中頭頂)、A1,A2(両耳朶)およびユーザ10の鼻根部に配置される。しかし、電極は最低2個あればよく、例えばPzとA1のみでも電位計測は可能である。この電極位置は、信号測定の信頼性および装着の容易さ等から決定される。この結果、生体信号検出部15はユーザ10の事象関連電位を測定することができる。
注意検出装置1は、受信した脳波信号を解析して、出力結果に対してユーザ10が期待はずれと感じたかどうかを判断する。
期待はずれであると判断したときには、さらに脳波信号のうちの事象関連電位の信号を抽出し、装置が映像を提示してからの経過時間(潜時)を特定する。そして、その潜時が600±50ミリ秒、または、750±50ミリ秒のいずれに近いかを判定する。
潜時が600±50ミリ秒であるときは、提示した番組が明らかな期待はずれであることを意味する。よって、注意検出装置1は現在の番組とは異なるカテゴリに属する他の番組を選局して表示する。一方、潜時が750±50ミリ秒であるときは、提示した番組が希望する番組に比較的近いが、やはり期待はずれであることを意味する。そこで、注意検出装置1は現在表示されている番組と同じカテゴリに属する他の番組を選局して表示する。この結果、ユーザの期待はずれの程度に応じてより適切な番組を出力できる。
なお、注意検出装置1は、番組のチャンネル番号、ジャンル、番組名、視聴履歴などの複数のパラメータからなる番組データベースを保持している。注意検出装置1は、たとえばジャンルによって複数の放送番組をカテゴリごとに分類でき、カテゴリの相違する番組を容易に選択できる。
4.本実施形態によるシステムの詳細な構成
図2は、注意検出システム100の機能ブロックの構成を示す。図2はまた、注意検出装置1の詳細な機能ブロックも示している。ユーザ10のブロックは説明の便宜のために示されている。
注意検出装置1は、有線または無線で入力部11、出力部14および生体信号検出部15と接続され、信号の送信および受信を行う。図2においては、入力部11、出力部14および生体信号検出部15は注意検出装置1とは別体であるが、これは例である。入力部11、出力部14および生体信号検出部15の一部または全部を、注意検出装置1内に設けてもよい。
入力部11は、ユーザ10が操作して注意検出装置1に対する指示を入力する装置である。入力部11は図1のリモコン11−1およびマイク11−2に対応する。この他マウス、キーボード、カメラ、ジャイロセンサ、加速度センサなども含まれる。
出力部14は、注意検出装置1からの信号を受け取って、その信号に基づく内容を出力する装置である。出力部14は、図1のTV14−1およびスピーカ14−2に対応する。出力部14はテキスト文字、合成音声なども出力可能である。なお出力される対象は映像や音声に限られず、たとえばアクチュエータなどの動作としての出力も含まれる。
生体信号検出部15は、ユーザの生体信号を検出する脳波計である。
次に、注意検出装置1の詳細な構成を説明する。
注意検出装置1は、後述の処理を実行するコンピュータシステムとして実現される。注意検出装置1は、中央処理部(CPU)2と、RAM3と、コンピュータプログラム4と、蓄積部5とを含んでいる。
CPU2は、RAM3に格納されたコンピュータプログラム4を実行することにより、そのプログラムの処理手順に従った機能を実現する。本実施形態においては、CPU2は3つの主要な機能を実現する。すなわち
(1)ユーザの要求に基づいて注意検出装置1の反応(出力内容)を決定し、処理を実行する機器反応機能、
(2)生体信号検出部15で検出された生体信号を解析して注目したい情報を取り出す信号解析機能、および
(3)信号解析部16で解析された信号と蓄積部13に蓄えられた動作修正候補から注意検出装置1の反応を修正する反応修正機能
である。本明細書においては、(1)〜(3)の各機能は別々のプログラムによって実現されるとする。ただし、1つのプログラム内の異なる処理モジュールなどとして実現することも可能である。コンピュータプログラムはCD−ROM等のコンピュータによって読み出し可能な記録媒体に記録される。そして、たとえばコンピュータプログラム製品として市場に流通され、または、インターネット等の電気通信回線を通じて伝送される。
図2においては、上述の(1)から(3)に対応する機能を注意検出装置1の構成要素として捉え、それぞれ機器反応部12、信号解析部16および反応修正部17として記載している。上述のように、これらはソフトウェア的に実現することも可能であるが、DSP等のハードウェア的に実現することも可能である。
蓄積部5は、たとえばハードディスクドライブである。蓄積部5は、機器反応部12が反応を決定する際に利用するデータベースを保持するとともに、データベースを利用して生成した機器の動作候補の情報を記憶している。
本実施形態による注意検出システム100は、ユーザが放送番組を視聴する環境において利用されることを想定する。このような想定の下では、蓄積部5は、放送番組に関する番組データベースを保持している。
図3は、蓄積部5に保持された番組データベース51の例を示す。番組データベース51内の各行は、各番組の番組情報に対応する。1つの番組情報は、チャンネル番号パラメータ52、ジャンルパラメータ53、番組名パラメータ54および視聴履歴パラメータ55から構成されている。各パラメータは、順にその番組のチャンネル番号、ジャンル、番組名および視聴履歴を示す情報が記述される。
視聴履歴以外の情報は、番組ガイド情報から生成される。番組ガイド情報とはたとえば電子番組表の生成に利用される情報である。注意検出装置1は放送波や通信ネットワークを介して番組ガイド情報を取得できる。一方、視聴履歴の情報はユーザがその番組を視聴した日時を示す。各番組の視聴履歴の登録数はその番組の視聴頻度(回数)を示している。
5.注意検出システム100の処理
次に、図4のフローチャートを参照しながら、図2の注意検出システム100における全体的な処理の流れを説明する。図4は、注意検出システム100の処理の手順を示す。
ステップS10において、入力部11はユーザ10からの要求の入力を受け付ける。たとえば入力部11は、ユーザから「テレビをつけて」という入力を受け付ける。
ステップS20において、入力された結果を元に、機器反応部12はユーザ10への出力内容を決定する。出力内容はユーザ10の要求に最もかなうように決定される。もしも、ユーザ10の要求が十分に明確でない場合は注意検出装置1は、ユーザ10の要求を推定しなければならない。機器反応部12は、蓄積部5に保持された番組データベース51(図3)を参照して、その時点で放送されている番組のうち、視聴履歴の頻度がもっとも多い番組の選局を決定する。
ステップS30において、出力部14は、決定された出力内容を提示する。ここでは選局された番組の映像および音声が出力される。
次のステップS40では、生体信号検出部15はユーザ10の生体信号を計測する。本発明では脳波計で測定可能な脳電位の変化を記録する。測定方法は、すでに説明した実験の測定方法と同様である。
ステップS50において、信号解析部16は計測された生体信号を解析する。より具体的には、信号解析部16は、生体信号の中でも脳波事象関連電位に注目して、特定の脳波事象関連電位波形が信号の中に含まれているかどうかを判定する。
ステップS60では、反応修正部17は、信号解析結果に基づいて出力内容の修正の要否を決定し、修正が必要な場合には出力内容を修正する。具体的には、解析された生体信号に基づいて、出力内容(すなわち表示されている番組)に問題がないと判定する場合は、反応修正部17は修正を行わない。一方、出力内容はユーザの期待に沿ったものではないと判定する場合は、反応修正部17は出力内容を修正する。このとき次候補となる番組の選局を決定する。
そしてステップS70において、機器反応部12は、ステップS60の処理の結果に基づいて、出力部14を介して内容を再提示する。
以上の処理によれば、注意検出装置1の出力結果がユーザの期待に沿っていなかったときは、ユーザ10が明示的にその意思表示をしなくても注意検出装置1がその出力内容を修正することができる。よって、ユーザ10と注意検出装置1とのインタラクションは、スムーズに行われる。
以下、図5から図8までを参照しながら、上述のステップS20、S50およびS60の処理を詳細に説明する。
6.機器反応部の処理
まず図5のフローチャートを参照しながら、図4のステップS20の処理を詳細に説明する。この処理は機器反応部12によって行われる。
図5は、機器反応部12の処理の手順を示す。
ステップS21では、機器反応部12はユーザ10の入力内容を分析する。そして、機器反応部12は、ユーザ10の要求が注意検出装置1の提供可能なサービスのどれに対応するかを対応付ける。
分析は、例えば音声入力に対しては音声認識プログラムや構文解析プログラムが利用される。ジェスチャ入力に対しては画像認識プログラムが利用される。マウスやキーボードへの入力に対してもどのキーが押されたか等が入出力プログラムによって認識される。
ステップS22では、動作候補のリストアップがされる。一般的にステップS21で行われる処理においては、ユーザ10からの入力を認識する必要がある。しかし、その要求を完全に理解するのは難しい。
たとえば音声認識プログラムがユーザの発話をすべて認識することは困難である。仮に音声認識プログラムの性能が十分だったとしても、ユーザ10の発話する文章の内容があいまい性を含んでいれば、注意検出装置1への動作の指示として不十分なこともある。このようなときには、動作の候補は複数出てきてしまう。
また、「テレビをつけて」という要求については、テレビの電源をONする要求は容易に解釈可能である。しかし、テレビの電源をONにした後にどの番組を最初に表示すればよいかについては、指示がない。よって、最初にどの番組(コンテンツ)を表示するかを決定する必要がある。
そこで、本実施形態においては、機器反応部12はこれまでのユーザ10の視聴頻度の高いものを順番に挙げて動作候補のリストを作成する。具体的には、機器反応部12は、番組データベース51の視聴履歴情報の履歴数に基づいて視聴頻度の高いものを順番に並べ、動作候補のリストを作成する。このように動作候補を決定すれば、注意検出装置1は可能な限りユーザの期待に沿って動作することができる。
図6は、機器反応部12によって作成された動作候補のリスト41を示す。機器反応部12は、要求入力時において視聴可能な番組のうち、視聴頻度の高い番組の情報が順位付けられて配列されている。履歴数が同じ番組に関しては、より最近視聴された番組を上位に配列する等の規則を規定しておけばよい。これらの順位は動作候補のうち信頼度の大きい順を示すといえる。
動作候補のリスト41は、ユーザ10からの要求のあったタイミングやこれまでの視聴履歴から、番組「ニュースX」が動作候補の第1位として挙げられたことがわかる。以下、第2位は番組「ニュースY」、第3位は番組「天気予報C」、第4位は番組「アニメA」と続いている。これらは、どれも「テレビをつけて」という要求にかなっているものの、本当にユーザ10が求めているものはいずれか1つであると考えられる。
また、動作候補第1位として採用された動作と関連して、同じカテゴリに属する動作候補と、別カテゴリに属する動作候補が、それぞれ「同:」「別:」という記号により示されている。このカテゴリは、番組のジャンルによって決定されており、図3に示すジャンルパラメータ53に記述されている。
例えば、第2位の「ニュースY」は第1位の「ニュースX」と同じニュースカテゴリに属するので、「同:」が付与されている。一方、第3位の「天気予報C」や第4位の「アニメA」はニュースではないために「別:」が付与されている。本願発明者らは、このカテゴリ間の異同が脳波事象関連電位に基づいて検出可能であることを発見した。よってカテゴリに関する情報を含めて、次の候補を選出する基準として利用する。
なお図6には、他の要求に対するリスト42および43も示されている。リスト42には「野球を見たい」という要求に対する動作候補が挙げられている。野球を見たいという要求に対して、どの動作候補も要求された文章として要件を満たしている。しかし、テレビ番組として放送されるプロ野球や大リーグの映像を見たい場合と、ユーザ自身が所属する草野球チームの前回の試合の映像を見たい場合とは、ユーザの期待はずれの程度は大きく異なってくる。
またリスト43には、アクチュエータを備えたロボット等に対する「あれ取って」という要求に対する動作候補が挙げられている。後者は図1に示す例とは異なるシステムにおける要求およびリストの例である。ユーザ10が、ロボットに新聞を取ってきてもらいたかった場合は第1位の候補動作を実行するための処理(移動処理、確保処理等)が実行されて特に問題がない。しかし新聞以外の物を希望していたときは、めがねが欲しかったのか、郵便物が欲しかったのかによって、ユーザの期待はずれの程度は大きく異なってくる。
再び図5を参照する。ステップS23では、機器反応部12は、得られた動作候補のリストを蓄積部13に保存する。この動作候補のリストは、ユーザ10に提示した情報がユーザ10にとって期待通りのものではなかった場合(後述)に、動作を出力するための検討データになる。
ステップS24では、機器反応部12は、ステップS23に蓄積された今回の動作候補のリストのうち、最も信頼度の高い候補を選択して、出力動作として決定する。複数の動作候補が決定される際には、何らかの推定動作の確からしさの基準が決定される。これは一般的に信頼度などと呼ばれ、動作候補を算出する際に各動作候補に付与される。例えばこれまでのユーザ10の動作の選択頻度や、プロファイル情報などから設定され、この値が最も高い候補が出力される。
ユーザが普段、人間同士で行っている会話の中には、それまでの文脈などを参照して初めて内容が特定されるような、あいまいさを含んだ発話が存在する。これらを正しく解釈して、ユーザに対応することは、ユーザに親しまれつつ使われる注意検出装置1やロボットには必須の機能である。
よって上述の処理によれば、注意検出装置1はユーザ10の要求を受けて、可能な限りユーザの期待に沿うように動作することができる。ただし、最初に採用された動作候補は、必ずしもユーザの期待に沿っているとは限らない。そのようなときは、すぐに正しい動作に修正できることも有効な機能になる。そこで図4のステップS50およびS60の処理が必要となる。
7.信号解析部の処理
次に図7のフローチャートを参照しながら、図4のステップS50の処理を詳細に説明する。この処理は信号解析部16によって行われる。
図7は、信号解析部16の処理の手順を示す。
ステップS51では、信号解析部16は、取得された脳波信号とテンプレートとの相関計算を行い、どちらのテンプレートと現在の波形が相関しているかを算出する。
テンプレートとは、区別したい状態の典型的な波形をいう。テンプレートとしては、ユーザが期待はずれ状態にあるときの波形のテンプレート、および、ユーザが期待はずれ状態にないときの波形のテンプレートの2種類を事前の実験等により準備しておく。例えば、それぞれの状態の波形の加算平均などにより作成可能である。そして、各々のデータを蓄積部5に格納しておく。
相関計算によって、ユーザが期待はずれ状態にあるかどうかを判定することが可能である。なお相関計算方法は周知である。たとえば信号解析部16は、特許文献1の図8に記載されるマハラノビス距離を用いて判別率を用いて判別を行う処理を利用して相関計算を行えばよい。本明細書においては、その詳細な説明は省略する。
ステップS52では、信号解析部16は、ステップS51で計算された相関値の大きさによって処理を切り換える。もしも、期待はずれ時のテンプレートとの相関のほうが高い場合は、信号解析部16は期待はずれ信号が含まれていたと判定する。そして処理はステップS54に進む。一方、期待はずれでない時のテンプレートとの相関のほうが高い場合は、信号解析部16は、期待はずれ信号は含まれていないと判定する。そして処理はステップS53に進む。
ステップS53では、信号解析部16は期待はずれ信号が含まれていなかったと判定して、この注意検出処理は終了する。
ステップS54では、信号解析部16は、検出された脳波波形に基づいて事象関連電位の陽性の頂点を特定し、番組表示時点を起算点としたときの、その頂点が認められるまでの時間(潜時)を算出する。すでに説明したように、潜時は、ユーザ10の期待との相違の程度を判定する信号になりえる。そして、算出された潜時が750ミリ秒よりも600ミリ秒に近い場合は、処理はステップS55にすすみ、そうでない場合はステップS56に進む。なお、600ミリ秒および750ミリ秒は厳密でなくてもよい。個人差等を考慮すると、それぞれ±50ミリ秒程度の幅を持たせることが好ましい。
ステップS55では、信号解析部16は、表示されている番組のカテゴリはユーザ10の期待していた番組のカテゴリとは相違すると判定する。そして注意検出処理は終了する。
ステップS56では、信号解析部16は、表示されている番組のカテゴリはユーザ10の期待していた番組のカテゴリと一致するが、コンテンツ(番組)自体は異なっていると判定する。そして注意検出処理は終了する。
このような処理を行うことで、ユーザ10の脳波を分類して、現在ユーザ10は、注意検出装置1の出力に対して期待はずれを感じているかどうか、また期待はずれを感じているとすれば、その期待はずれの程度を判別できる。この処理は、ユーザがどの側面に注意を払って情報を見ていたかを判別する処理であるといえる。このためステップS50の処理を注意検出処理と呼んでいる。
なお、上記の実施の形態では、テンプレートは期待はずれ信号の有無の判断についてのみ使用したが、このほかにも、3種類のテンプレート(期待はずれがない場合のテンプレート、別カテゴリの期待はずれがある場合のテンプレート、同一カテゴリの期待はずれがある場合のテンプレート)を用意して、どのテンプレートと最も相関が高いかを判定する方法も考えられる。この場合は、前記3種類の各テンプレートに対して、ステップS53、ステップS55、ステップS56の判定を行うことで、同一の効果が得られる。
8.反応修正部の処理
次に図8のフローチャートを参照しながら、図4のステップS60の処理を詳細に説明する。この処理は反応修正部17によって行われる。
図8は、反応修正部17の処理の手順を示す。
ステップS61では、信号解析部16(ステップS50)で行われた解析結果を抽出する。解析結果とは、図7のステップS54の判定結果、ステップS53、S55またはS56の判定結果を意味する。
ステップS62では、反応修正部17は期待はずれの有無を判断する。図7のステップS53による期待はずれなしの判定がされていれば、処理はステップS63に進む。ステップS63では、反応修正部17は、動作の修正は必要ないとして処理は終了する。
ステップS64では、反応修正部17は、信号解析部16によって別カテゴリとの判定がされていたか否かを判断する。図7のステップS55による別カテゴリの判定がされていれば、処理はステップS65に進む。一方、別カテゴリの判定がされていなければ、換言すれば図7のステップS56により同一カテゴリとの判定がされていれば、処理はステップS67に進む。
ステップS65では、反応修正部17は蓄積部13に蓄積された動作候補リスト41を抽出して、次のステップS66を実行する。そしてステップS66では、ステップS65で抽出した動作候補に基づいて別のジャンルの番組を選択し、選択した番組の選局を決定する。
図6に示す動作候補リスト41の例で説明する。ステップS65およびS66が実行されるときは、動作候補第1位の「ニュースX」に対して、ユーザ10はその機器動作は期待はずれであり、かつ「ニュースX」とは別のカテゴリの番組を期待していたことを意味する。よって反応修正部17は、動作候補リスト41の優先順位の上から順に別カテゴリの番組を検索する。そして第3位の「天気予報C」を選局候補として抽出する。そしてステップS66によって、現在の「ニュースX」を「天気予報C」に修正する。
次にステップS67およびステップS68を説明する。ステップS67では、反応修正部17は蓄積部13に蓄積された動作候補リスト41を抽出して、次のステップS68を実行する。ステップS68では、反応修正部17はステップS67で抽出した動作候補に基づいて同じジャンルの番組を選択し、選択した番組の選局を決定する。
図6に示す動作候補リスト41の例で説明する。ステップS67およびS68が実行されるときは、動作候補第1位の「ニュースX」に対して、ユーザ10はその機器動作は期待はずれであるが、「ニュースX」とは同一カテゴリの番組を期待していたことを意味する。よって反応修正部17は、動作候補リスト41の優先順位の上から順に同じカテゴリの番組を検索する。そして第2位の「ニュースY」を動作候補として抽出する。そしてステップS68によって、現在の「ニュースX」を「ニュースY」に修正する。この結果、「ニュースY」が出力されてユーザの期待に沿うことができる。なお「ニュースY」が選局されることによって、番組データベース51の視聴履歴が更新される。
このような処理によって、ユーザ10の期待はずれ信号を検出して、その期待はずれは何に注意を払っていて発生したものかを判断した上で、動作を修正して、ユーザ10の期待になるべく近い動作を提供することが実現される。
上述の注意検出システム100の構成および動作によれば、潜時が600ミリ秒前後で計測されたかまたは750ミリ秒前後で計測されたかに応じて、機器が次に行うべき動作処理を変化させている。潜時が600ミリ秒前後で計測された場合には、カテゴリ自体がユーザの期待と異なっていたとして、機器は現在の動作処理と異なるカテゴリの処理を実行する。一方、潜時が750ミリ秒前後で計測された場合には、カテゴリは同一であるがコンテンツがユーザの期待と異なっていたとして、機器は現在の動作処理と同じカテゴリの処理を実行する。これにより、もしもユーザの要望どおりに機器が動作しなかった場合においても、ユーザが明示的に指定せずに、機器がユーザの注意に合わせて動作を修正することが可能となる。
以上、本発明の実施形態を説明した。
上述の図7においては、ステップS52で期待はずれ信号の有無を判定し、その後のステップS54において潜時が認められる時間を判定していた。しかし、この2つのステップは1つに統合することも可能である。たとえばステップS51において利用するテンプレートを、600ミリ秒前後で陽性の頂点が現れる波形のテンプレート、750ミリ秒前後で陽性の頂点が現れる波形のテンプレート、および、ユーザが期待はずれ状態にないときの波形のテンプレートの3種類とする。そして、取得された脳波信号(事象関連電位)と3種類のテンプレートとの相関計算を行う。これにより、期待はずれの有無のみならず、潜時が600ミリ秒前後か750ミリ秒前後かの結果を同時に出力できる。
上述の図4に示すステップS60においては、その時点におけるユーザ10に対する情報が修正される。しかし次に動作候補リストを生成するときには、機器反応部12は最初から修正結果を反映したリストを作成してもよい。これにより、動作候補生成処理がユーザの生体信号を用いて学習され、徐々に、期待はずれの信号が検出されない状態に移行できる。
本実施形態においては、「テレビをつけて」というユーザからのあいまいな指示に対する対応方法を説明し、さらに図6においては「野球を見たい」、「あれ取って」という曖昧な指示の例を挙げた。しかし、ユーザがあいまいな指示をした場合に推定を間違えたときの修正方法は種々考えられる。
例えば、ユーザが特定のコンテンツを指定するのが困難な、パソコンに保存してある大量のデジタルカメラで撮影した写真の検索やなどがある。特定の写真を検索したいときに、「遊園地に行ったときの写真」と指定されても、何枚もありその場合に特定の写真を表示しても推定が外れる場合もある。この場合においても、最初家族の写真を提示したときに、期待はずれが発生した場合、同一カテゴリであれば別の場所で撮影した家族の写真を表示すればよいし、別カテゴリであれば人の写っていない風景の写真を表示するなどが考えられる。
また、ユーザが電話をかけたい場合も、パソコンに電子的に保存された電話リストを指定して電話をする状況において、「取引先のAさん」などと指定された場合も、Aさんが複数の取引先にいるかもしれないし、同じ取引先内にもいるかもしれない。このような時も、もしも違っていた場合は、脳波によって期待はずれの信号を取得して、ユーザの所望の検索結果に早く到達できる。
本発明の情報処理装置および情報処理システムは、生体信号検出部および信号解析部を有しており、生体信号を解析することで、機器の動作の何に期待はずれを感じているかを判定できる。そして、その期待はずれの程度に応じて処理の内容を修正する。これにより、ユーザとの情報のやりとりを行う情報機器や映像音響機器などのインタフェースの改善に有用である。また、ユーザにサービスを提供する機器、ロボットや家電製品への搭載および応用が可能である。
注意検出システム100の構成例を示す図である。
注意検出システム100の機能ブロックの構成を示す図である。
蓄積部5に保持された番組データベース51の例を示す図である。
注意検出システム100の処理の手順を示すフローチャートである。
機器反応部12の処理の手順を示すフローチャートである。
機器反応部12によって作成された動作候補のリスト41を示す図である。
信号解析部16の処理の手順を示すフローチャートである。
反応修正部17の処理の手順を示すフローチャートである。
本実験の概要を時系列で示す図である。
実験において使用した問題の例を示す図である。
実験の手順を示すフローチャートである。
被験者の脳波を測定するための電極の貼り付け位置を示す図である。
(a)〜(c)は、それぞれ問題種類1〜3に対する実験データの解析結果を示す図である。
符号の説明
1 注意検出装置
2 CPU
3 RAM
4 コンピュータプログラム
5 蓄積部
10 ユーザ
11 入力部
12 機器反応部
14 出力部
15 生体信号検出部
16 信号解析部
17 反応修正部
100 注意検出システム