JP3970920B2 - 情報処理システム、情報処理装置および方法 - Google Patents

Description

本発明は、ユーザに情報やサービスを提供する技術に関する。より具体的には、本発明はユーザの脳波などの生体信号を利用して、適切な情報やサービスを選択して提供する機器、方法、およびそのような機器において実行されるコンピュータプログラムに関する。

近年、情報機器や映像音響機器において取り扱われる情報（コンテンツ）の量は膨大になっている。そのため、ユーザはコンテンツを正確に特定して機器に指示しなければ、機器は適切なコンテンツを提供できない。

例えば、ユーザが野球の映像を見たいと思ったとき、「野球を見たい」とユーザが指示すれば希望する野球番組を受信し表示する機器が提案されている。当該機器は、ユーザが見たい野球の映像はその時点で放送されている野球番組であるとして動作する。提案された当初は、機器はそのように動作すればユーザの期待に十分応えることができた。しかし、現在は野球に関連する映像は多岐にわたっており、たとえば日本のプロ野球番組、高校野球番組、アメリカ大リーグ番組、さらにはユーザが所属している草野球チームの先週の試合のビデオ映像までもが視聴の対象になり得る。したがって、ユーザがどの野球を見たいかを正確に特定して指示しなければ、機器はユーザの希望する野球の映像を提供できない。

コンテンツを特定して機器に指示するために、ユーザは非常に煩雑な作業を強いられる。よって、その作業を如何に減らせるかは機器の性能を決める重要な指標の１つとなる。

たとえば、ユーザからあいまい性を含んだ要求を受け取ったときは、機器は適切と考えられるコンテンツをユーザに提供できることが好ましい。また、機器の選択がユーザの意図に沿わないときは、機器はそのような状況の発生を把握し、より適切なコンテンツを提供する処理を行うことが好ましい。たとえば機器がユーザに対しコンテンツに関する更なる情報を要求したり、機器がユーザの操作履歴などに基づいて他のコンテンツを選択して提供できれば、利便性が高まる。

特許文献１には、ユーザの脳波に基づいてユーザの意図を推定し、自らの動作を制御するサービス提供装置が開示されている。この装置は、ユーザの要求に対して応答した後、ユーザの生体信号を検出する。そして、その信号から応答した内容が期待はずれであったかどうかを推定し、期待はずれであると判断すると応答内容を修正している。
国際公開第２００５／００１６７７号パンフレット

従来の機器はユーザの生体信号に基づいて応答内容を修正するが、修正後の内容がユーザの期待に合致するか否かは不明である。その理由は、機器は応答内容をどのように修正すべきかを考慮していないからである。機器は、応答内容がユーザにとって期待はずれであったか否かを２値的に判断するにとどまり、ユーザがどのような観点からその内容が期待はずれであると考えたのか分析することはない。よって、修正後の内容もまた、ユーザにとって期待はずれとなる可能性がある。

本発明の目的は、ユーザがあいまい性を含んだ要求を入力したときでも、可能な限りユーザの期待に沿って動作する技術を提供することである。特に、ユーザの期待通りに動作できなかった場合において、どのような観点から期待通りではなかったかを判断して、より期待に近い応答を行う技術を提供することである。

本発明による情報処理システムは、ユーザの要求に基づいて第１処理を実行する反応部と、処理の結果を出力する出力部と、ユーザ脳波の事象関連電位に関する信号を計測する信号検出部と、前記結果が出力されてから、前記事象関連電位の陽性の頂点が現れるまでの経過時間が、第１基準時間および第２基準時間のいずれに近いかを判定する解析部と、判定結果に応じて第２処理を決定する反応修正部とを備えている。前記反応部は前記第２処理を実行する。

前記解析部は、前記第１基準時間を６００±５０ミリ秒とし、前記第２基準時間を７５０±５０ミリ秒として判定してもよい。

前記情報処理システムは、処理の実行に利用される複数のパラメータを保持する蓄積部をさらに備えていてもよい。前記複数のパラメータの各々は複数のカテゴリに分類可能である。前記反応修正部は、前記経過時間が前記第１基準時間である６００±５０ミリ秒に近いことを示す判定結果を受け取ったときは、前記第１処理に利用されたパラメータと異なるカテゴリに属するパラメータを選択し、前記経過時間が前記第２基準時間である７５０±５０ミリ秒に近いことを示す判定結果を受け取ったときは、前記第１処理に利用されたパラメータと同じカテゴリに属するパラメータを選択して、選択したパラメータを利用する処理を前記第２処理として決定してもよい。

前記蓄積部は、各パラメータの利用頻度を示す履歴情報を保持していてもよく、前記反応部は、前記履歴情報に基づいてパラメータを選択し、選択した前記パラメータを利用して前記第１処理を実行してもよい。

前記反応修正部は、まだ選択されていないパラメータのうち、前記利用頻度が最も高いパラメータを選択して前記第２処理を決定してもよい。

前記第２処理の実行に応じて、前記蓄積部は前記第２処理に利用されたパラメータの履歴情報を更新してもよい。

映像および音声の少なくとも１つに関する第１コンテンツおよび第２コンテンツに関し、前記反応部は、前記第１コンテンツの出力処理を前記第１処理として実行し、前記第１コンテンツとは異なる第２コンテンツの出力処理を前記第２処理として実行してもよい。

本発明による情報処理装置は、入力装置、出力装置および信号検出装置と接続される。前記入力装置は、ユーザの要求を受け取る手段を備え、前記出力装置は、受け取った信号を出力する手段を備え、前記信号検出装置は、ユーザ脳波の事象関連電位に関する信号を計測する手段を備えている。前記情報処理装置は、前記入力装置からの前記ユーザの要求に基づいて第１処理を実行して信号を出力する反応部と、前記事象関連電位に関する信号に基づいて、前記事象関連電位の陽性の頂点を特定し、前記結果が出力されてから前記頂点が現れるまでの経過時間が、第１基準時間および第２基準時間のいずれに近いかを判定する解析部と、判定結果に応じて第２処理を決定する反応修正部とを備えている。前記反応部は前記第２処理を実行して信号を出力する。

本発明による情報処理方法は、ユーザの要求に基づいて第１処理を実行するステップと、処理の結果を出力するステップと、ユーザ脳波の事象関連電位に関する信号を計測するステップと、前記信号から前記事象関連電位の陽性の頂点を特定するステップと、前記結果が出力されてから前記頂点が現れるまでの経過時間が、第１基準時間および第２基準時間のいずれに近いかを判定するステップと、判定結果に応じて第２処理を決定するステップと、前記第２処理を実行するステップとを包含する。

本発明によるコンピュータプログラムは、コンピュータにおいて実行可能である。前記コンピュータプログラムは、記録媒体に記録され、コンピュータによって読み出される。読み出された前記コンピュータプログラムは、前記コンピュータに、入力装置から入力されたユーザの要求に基づいて第１処理を実行するステップと、処理の結果を出力装置に出力するステップと、検出装置によって検出されたユーザ脳波の事象関連電位に関する信号を受信するステップと、前記信号から前記事象関連電位の陽性の頂点を特定するステップと、前記結果が出力されてから前記頂点が現れるまでの経過時間が、第１基準時間および第２準時間のいずれに近いかを判定するステップと、判定結果に応じて第２処理を実行するステップとを実行させる。

本発明によれば、ユーザが期待はずれと感じた時にその期待はずれを示す信号の性質を判定する。そしてその判定結果に基づいて機器の動作を修正する。ユーザが注意を向けていた対象に適合するように機器の動作を修正するため、ユーザの期待に沿う結果をユーザに提供できる。

以下、添付の図面を参照しながら、本発明による情報処理システムおよび情報処理装置の実施形態を説明する。

本実施形態においては、ユーザ脳波の事象関連電位（ｅｖｅｎｔ−ｒｅｌａｔｅｄ ｐｏｔｅｎｔｉａｌ：ＥＲＰ）を利用した処理を説明する。「事象関連電位」とは、脳波の一部であり、外的あるいは内的な事象に時間的に関連して生じる脳の一過性の電位変動をいう。

本願発明者らは、機器がユーザの期待通りに動作しなかったときにおいて、ユーザ脳波の事象関連電位に特徴が現れることを発見した。より具体的には、ユーザの事象関連電位の波形中の所定の頂点が、動作結果の提示時点から起算して６００±５０ミリ秒の時間、または７５０±５０ミリ秒の時間に現れることを発見した。

これらの時間の相違は、同一のユーザが同一のコンテンツを見ていたときでも現れていたため、さらに分析を進めた結果、本願発明者らは、ユーザが注意を払っていた対象に依存して時間の相違が生じることを発見した。たとえば機器の提示した同一のコンテンツに対し、ユーザが、ジャンル自体が違うと感じたか、ジャンルは正しいがコンテンツが違うと感じたかなどによって、上述の頂点が現れる時間が相違することを意味する。

そこで、その頂点が現れる時間が、動作結果の提示時点から起算して６００±５０ミリ秒の時間、または７５０±５０ミリ秒の時間のいずれに近いかを判定すれば、提示されたコンテンツがどのような観点から期待はずれとされたかを検出できる。そして、その判断に基づいて、機器の動作をどのように修正すればよいかが決定できる。

以下では、図９から図１３を参照しながら本願発明者が行った実験を説明し、本発明の原理の根拠を立証する。その後、本発明の実施形態を説明する。

１．実験の概要
まず最初に本願発明者らが行った「期待はずれ信号」を取得する実験を説明する。そして提示された情報の何に対してユーザが注意を向けていたかを判別可能であることを示す。

実験においては、画面に表示される「Ｌ」か「Ｒ」の文字に従って、対応する左クリックまたは右クリックを選択し、「○」が提示されることを期待して、動作結果を確認する、という試行を行った。被験者は正しい選択の結果を表す「○」を期待するものの、２０％の確率で表示される「×」に対しては、自分の期待通りの動作が行われない状況になる。この場合にのみ潜時は６００ミリ秒付近に現れることを確認した。

「潜時」とは、機器が動作結果を提示した時点を起算点としたときの、ユーザの事象関連電位の陽性の頂点が認められるまでの時間をいう。ここでいう「陽性の頂点」とは、測定された事象関連電位が正の最大値をとる頂点を意味する。ただし、正の最大値に限られない場合もある。たとえば測定時のノイズ除去の影響で、事象関連電位の波形がある箇所だけ急峻に負方向に落ち込んでいることがある。このようなときはその前後の値に基づいて波形を補正し、その落ち込み箇所の補正値が正の最大値となっているときには、その箇所を陽性の頂点として取り扱ってもよい。

本願発明者らは、「○」、「×」といった単純な識別子による期待した動作内容の確認だけでなく、より複雑な基準による動作内容の確認の実験も行った。たとえばテレビで見たい映像の選択操作などの現実の機器のインタフェース操作でも同様の事象関連電位の特徴の出現を確認するための実験を行った。

さらに実験においては、コンテンツの隅に表示されるチャンネル番号のような単純な識別子による期待動作の確認だけでなく、ジャンル名や番組名による行動の選択時に被験者が期待していた内容と、実際に被験者に提示された映像とを比較して、その内容が期待通りであったか否かを判定する場合のユーザの事象関連電位を計測した。

２．実験の詳細
図９は本実験の概要を時系列で示す。図１０は実験において使用した問題の例を示す。図１１は実験の手順を示す。以下、これらを用いて本実験の内容を説明する。なお、図９に示すＳ８１からＳ８５の記載は、図１１に示すＳ８１からＳ８５に対応する。

本実験では、図９に示すように、ディスプレイに提示される問題（ステップＳ８１）に対する行動を４つの選択肢から選び（ステップＳ８２）、被験者が自らの要求としてキーボード等を介して機器に入力し（ステップＳ８３）、その結果ディスプレイに提示された映像が（ステップＳ８４）、要求内容に対して意図した内容であるか否かを判定した際の被験者の反応を脳波計により計測する（ステップＳ８５）。

以下、図１１に示すステップＳ８１〜Ｓ８５を詳細に説明する。

（ステップＳ８１：問題の提示）
図９に示すように、被験者に問題および問題に対する行動の選択肢を同時にディスプレイに表示する。ここでは、問題として、「２ｃｈにして下さい」のようにチャンネルの番号のような「識別子による要求に関するもの（問題種類１）」、「野球にして下さい」のように「ジャンルによる番組の要求に関するもの（問題種類２）」、および、「ニュースＺにして下さい」のように「番組の内容そのものに関するもの（問題種類３）」の３種類を提示した。また、選択肢は４つとした。例えば図９に示すように、「２ｃｈにして下さい」という問題に対して、「Ａ：２ｃｈ、Ｂ：４ｃｈ、Ｃ：１０ｃｈ、Ｄ：８ｃｈ」などと表示する。

図１０には問題種類の違いによる問題の違いの例を示す。表示される情報の評価としてはどの問題においても通常のテレビの画面に対して行うものの、チャンネル番号等の識別子に注目する問題種類１、ジャンルに注目する問題種類２、番組そのものに注目する問題種類３と違う種類の問題を出された場合には、被験者は表示される情報に対しても、それぞれ問題に応じた注意の向け方をする。

（ステップＳ８２：要求の選択）
被験者はステップＳ８１で与えられた問題と選択肢を確認し、問題に対する行動を選択肢の中から選択する。図９の例では、被験者は２ｃｈにするため、行動Ａを選択する。

（ステップＳ８３：要求の入力）
被験者はステップＳ８２で選択肢した行動を機器に入力する。具体的には選択肢Ａ〜Ｄに対応するキーボードのキーを入力する。図９の例ではキーボードのキーＡを押すことになる。

（ステップＳ８４：動作内容の提示）
ステップＳ８３のキーボード入力の２００ｍｓ後、６５％の確率で「選択した行動の内容に応じた映像」を、３５％の確率で「選択した行動の内容とは異なる内容の映像」をディスプレイに提示する。ここでは、２秒間映像を提示し、試行ごとに映像の内容は変更する。映像の提示終了の０．５秒後に次の問題を提示する。

ここで、「選択した行動の内容に応じた映像の提示」および「選択した行動の内容とは異なる内容の映像の提示」の具体例を、問題種類１〜３を挙げてそれぞれ説明する。

問題種類１（識別子による要求に関するもの）
「選択した行動の内容に応じた映像の提示」とは、例えば２ｃｈを入力して２ｃｈと表示されている映像を提示することである。「選択した行動の内容とは異なる内容の映像の提示」とは、２ｃｈを選択して入力したにもかかわらず、４ｃｈなどと、異なるチャンネル番号が表示されている映像を提示することである。図９は、２ｃｈを選択したにもかかわらず、４ｃｈの映像が被験者に提示されている例が示されている。映像のジャンルは天気予報である。

問題種類２（ジャンルによる要求に関するもの）
ジャンルは、「ニュース」、「野球」、「アニメ」、「天気予報」の４種類に区分している。「選択した行動の内容に応じた映像の提示」とは、例えば「野球」というジャンルの入力に対して野球の映像を提示することである。「選択した行動の内容とは異なる内容の映像の提示」とは、「野球」というジャンルを選択して入力したにもかかわらず、「ニュース」や「アニメ」や「天気予報」など、異なるジャンルの映像を提示することである。

問題種類３（内容そのものに関するもの）
ニュース番組として、番組名「ニュースＸ」、「ニュースＹ」、「ニュースＺ」の３番組を挙げている。「選択した行動の内容に応じた映像の提示」とは、例えば「ニュースＸ」という番組名の入力に対して「ニュースＸ」の映像を提示することである。「選択した行動の内容とは異なる内容の映像の提示」とは、「ニュースＸ」という番組名を選択して入力したにもかかわらず、「ニュースＹ」や「ニュースＺ」など、異なる番組の映像を提示することである。

以上のような問題種類１から３の間には、次のような認知的な複雑さの違いがあると考えられる。すなわち、問題種類１の問題は、２ｃｈや４ｃｈといった記号の違いを認知することであり、比較的簡単なカテゴリに属する。問題種類２の問題は、ジャンルレベルの識別問題であり、記号だけでなく、図形や物体などから構成された映像をニュースやアニメ、野球といったジャンル別に認知する必要がある。この種類の問題は、記号の違いと同程度に認知が容易であると考えられる。映像の色合いはアニメとそれ以外では明らかに違い、また、天気図、野球場およびニューススタジオ等の映像は明らかに違うためである。カテゴリそのものの違いを見分けることは比較的容易であるといえる。

これに対して、問題種類３の問題は、同じジャンルの映像を、さらに内容によって識別する問題である。例えば、ニュースというジャンルに属する複数の映像を番組の内容によって識別するには、スタジオの形状や、出演しているキャスター、文字スーパーなどさらに細かい特徴まで考慮する必要がある。さらに、野球の例で言えば、「○○対××戦」のような番組内容まで識別しようとすると、球場の違いやユニフォームの違いなど、同様にさらに細かな特徴まで考慮しないと認知できない。すなわち、見て分かる野球場と天気図の違いを識別すればよい問題種類２と、どの野球場なのか、どのチームのユニフォームなのか、非常に似通っているものを識別しなければならない問題種類３とは、認知的複雑さは明らかに相違するといえる。

以上のように、本実験では異なる種類の認知的複雑さを持った問題を被験者に提示している。異なる問題種類において同じ提示画像を用いることにより、単なる画像の違いに対する被験者の反応ではなく、問題種類１〜３のような要求に対して被験者が注意を払う内容の認知的複雑さが異なる場合の、被験者の反応が調べられる。

例えば、図９に示したのと同じ天気予報の画像を用いるとしても、問題を「野球にしてください」として、ジャンルレベルの認知的複雑さをもつ期待を持たせたり、問題を「「○時の天気予報」にして下さい」とすることにより、番組内容レベルの認知的複雑さをもつ期待を持たせたりでき、それらの問題を混ぜて行うことで、単なる画像の違いに対する被験者の反応ではなく、異なる要求内容に対する異なる認知的複雑さをもった期待内容と、提示内容との比較に対するユーザの反応を調べることができる。

（ステップＳ８５：被験者の反応を計測）
ステップＳ８３での映像が提示されたタイミングを起点として、被験者の脳波における事象関連電位を測定する。

図１１の手順による試行を１回の実験につき１２０試行、各被験者につき２回実験を実施し、被験者ごとに合計２４０試行のデータを計測した。

図１２は、被験者の脳波を測定するための電極の貼り付け位置を示す。この貼り付け位置は国際１０−２０法に従っており、位置関係を明確にするための参考として、図１２には被験者の鼻１２０と左耳１２１および右耳１２２とが示されている。図１２においては、左耳１２１および右耳１２２から等距離にあり、鼻１２０を通る正中線上の電極には“ｚ”が付される。

事象関連電位を測定するための電極は、１）Ｐｚ：正中頭頂、２）３）Ａ１，Ａ２：両耳朶、４）ボディーアース（Ｚ）：鼻根部の４箇所に貼り付けた。サンプリング周波数は２００Ｈｚとした。

実験データの解析においては、０．０５〜１０Ｈｚのバンドパスフィルタを用い、ベースライン補正としては刺激提示前２００ｍｓから０ｍｓの波形を用いている。また、本実験では、瞬きによるノイズの混入を防ぐため同時に眼電（ＥＯＧ）を計測しており、ＥＯＧ成分の振幅が１００μＶ以上の試行を解析対象のデータから削除した。

図１３（ａ）〜（ｃ）は、それぞれ問題種類１〜３に対する実験データの解析結果を示すグラフである。図１３（ａ）〜（ｃ）の各グラフにおける波形は、３名の被験者から得た電位波形を積算したものであり、横軸は映像の提示からの時間で単位はｍｓ、縦軸は電位で単位はμＶである。太線３１、３３、３５はそれぞれ入力した要求（選択した行動）と関連しない映像が提示されたときの波形、細線３２、３４、３６はそれぞれ入力した要求（選択した行動）と関連した映像が提示されたときの波形である。

図１３（ａ）および図１３（ｂ）の各グラフから、入力した要求（選択した行動）と関連しない映像が提示されたときは（例えば、図１３（ａ）の場合は、２ｃｈと入力して４ｃｈと表示されている映像が提示された場合などであり、図１３（ｂ）の場合は、野球というジャンルを入力して、天気予報の映像が提示された場合などである）、映像の提示から約６００ｍｓ前後に、通常時とは異なった特徴を持つ事象関連電位が現れていることが分かる。すなわち、実際の機器の操作において、ユーザが期待したとおりに機器が動作した場合と動作しなかった場合では、脳波計で計測される事象関連電位には明確な差が見られることがわかる。

また、図１３（ｃ）のグラフにおいて、入力した要求（選択した行動）と関連しない映像が提示されたときの波形３５（例えば、「ニュースＸ」と入力して「ニュースＺ」の映像が表示される場合など）と、入力した要求（選択した行動）と関連した映像が提示されたとき（例えば、「ニュースＸ」と入力して「ニュースＸ」の映像が表示される場合など）の波形３６では、映像の提示から７５０ｍｓ前後に異なる部分が見られる。この場合も同様に、実際の機器の操作において、ユーザが期待したとおりに機器が動作した場合と動作しなかった場合では、脳波計で計測される事象関連電位には明確な差があり、ジャンルではなく、番組名に注目した場合には、先の６００ミリとは異なり、７５０ミリ付近に陽性の頂点を持つ特徴が見られる。

このように、被験者が何に注意を向けてきたかによって、検出される波形、より具体的には潜時が相違する。潜時の違いは、注意を向けていた情報が期待通りであったかどうかを判定するのに要した時間の違いであると考えられる。これは逆に考えると、検出された波形において、同じ期待はずれ状態であっても、潜時の違いによって被験者が何に注意を向けていて期待はずれの状態になったかを検出できるといえる。

従来の事象関連電位の実験においては、単純な視覚入力や聴覚入力に対する反応を調べる実験が大半であった。このような実験では、３００ミリ〜４５０ミリ秒あたりに潜時が観察されることがあった。

本願発明者らが実施した実験のようにテレビの画面を利用する条件下では、問題種類１および２に属するチャンネル番号やジャンルの相違の判別（比較的容易な判別）では６００ミリ秒付近に、問題種類３に属するジャンルは同じで番組名のみの相違の判別（複雑な判別）では７５０ミリ秒付近に、潜時がシフトしたと考えられる。なお、本実験においても、先の実験と同様、ピークの現れる時間は、個人ごとに異なり、また試行ごとにも異なると考えられる。

以上、この実験で明らかになったように、ユーザが期待したとおりに機器が動作した場合と動作しなかった場合とにおいて、脳波計で計測される事象関連電位には明確な差がある。さらにユーザが何に注意を向けていたかによっても事象関連電位の潜時が変化する。この実験によって、この事象関連電位を用いると機器のインタフェースにおいてユーザが何に注意を向けていたかが検出できる。すなわち表示された情報は同一ジャンルにおける期待はずれか、別のジャンルにおける期待はずれが発生しているかが判別できると言える。

３．本実施形態によるシステムの構成
以下、本発明による情報処理システムの実施形態を説明する。情報処理システムは、ユーザの注意が何に向けられているかを検出し、ユーザの期待により近い応答を行うために用いられる。そのため、情報処理システムは「注意検出システム」と呼ぶことができる。

まず図１を参照しながら注意検出システムの具体例を説明し、図２から図８を参照しながら注意検出システムの一般的な構成およびその動作を説明する。

図１は、本実施形態による注意検出システム１００の構成例を示す。注意検出システム１００は、注意検出装置１と、リモコン１１−１と、マイク１１−２と、ＴＶ１４−１と、スピーカ１４−２と、生体信号検出部１５とを有している。

注意検出システム１００の機能を概説する。注意検出システム１００を構成する注意検出装置１は、ユーザ１０の要求をリモコン１１−１やマイク１１−２を介して受け取る。そして、その要求に応答して、映像／音声を出力するための処理を実行する。

たとえば「テレビを見たい」というユーザの要求がマイク１１−２を介して無線で入力されると、注意検出装置１はテレビに対して電源オンの指示を送るための処理を実行するとともに、放送波の受信処理および選局処理を行う。さらに映像信号および音声信号を分離して出力処理を行う。この結果、ＴＶ１４−１は映像信号に基づいて番組の映像を表示し、スピーカ１４−２は音声信号に基づいてその番組の音声を出力する。

続いて注意検出装置１は、生体信号検出部１５から脳波信号を取得する。本実施形態による生体信号検出部１５は、ヘッドマウント式脳波計を想定しており、検出した脳波信号を無線で注意検出装置１に送信することができる。なおこの脳波計には、ユーザ１０の頭部に装着されたとき、その頭部の所定の位置に接触する電極が配置されている。

すでに説明した「期待はずれ信号」を取得する実験の条件と同様の電極の配置にした場合には、電極は図１２に示すＰｚ（正中頭頂）、Ａ１，Ａ２（両耳朶）およびユーザ１０の鼻根部に配置される。しかし、電極は最低２個あればよく、例えばＰｚとＡ１のみでも電位計測は可能である。この電極位置は、信号測定の信頼性および装着の容易さ等から決定される。この結果、生体信号検出部１５はユーザ１０の事象関連電位を測定することができる。

注意検出装置１は、受信した脳波信号を解析して、出力結果に対してユーザ１０が期待はずれと感じたかどうかを判断する。

期待はずれであると判断したときには、さらに脳波信号のうちの事象関連電位の信号を抽出し、装置が映像を提示してからの経過時間（潜時）を特定する。そして、その潜時が６００±５０ミリ秒、または、７５０±５０ミリ秒のいずれに近いかを判定する。

潜時が６００±５０ミリ秒であるときは、提示した番組が明らかな期待はずれであることを意味する。よって、注意検出装置１は現在の番組とは異なるカテゴリに属する他の番組を選局して表示する。一方、潜時が７５０±５０ミリ秒であるときは、提示した番組が希望する番組に比較的近いが、やはり期待はずれであることを意味する。そこで、注意検出装置１は現在表示されている番組と同じカテゴリに属する他の番組を選局して表示する。この結果、ユーザの期待はずれの程度に応じてより適切な番組を出力できる。

なお、注意検出装置１は、番組のチャンネル番号、ジャンル、番組名、視聴履歴などの複数のパラメータからなる番組データベースを保持している。注意検出装置１は、たとえばジャンルによって複数の放送番組をカテゴリごとに分類でき、カテゴリの相違する番組を容易に選択できる。

４．本実施形態によるシステムの詳細な構成
図２は、注意検出システム１００の機能ブロックの構成を示す。図２はまた、注意検出装置１の詳細な機能ブロックも示している。ユーザ１０のブロックは説明の便宜のために示されている。

注意検出装置１は、有線または無線で入力部１１、出力部１４および生体信号検出部１５と接続され、信号の送信および受信を行う。図２においては、入力部１１、出力部１４および生体信号検出部１５は注意検出装置１とは別体であるが、これは例である。入力部１１、出力部１４および生体信号検出部１５の一部または全部を、注意検出装置１内に設けてもよい。

入力部１１は、ユーザ１０が操作して注意検出装置１に対する指示を入力する装置である。入力部１１は図１のリモコン１１−１およびマイク１１−２に対応する。この他マウス、キーボード、カメラ、ジャイロセンサ、加速度センサなども含まれる。

出力部１４は、注意検出装置１からの信号を受け取って、その信号に基づく内容を出力する装置である。出力部１４は、図１のＴＶ１４−１およびスピーカ１４−２に対応する。出力部１４はテキスト文字、合成音声なども出力可能である。なお出力される対象は映像や音声に限られず、たとえばアクチュエータなどの動作としての出力も含まれる。

生体信号検出部１５は、ユーザの生体信号を検出する脳波計である。

次に、注意検出装置１の詳細な構成を説明する。

注意検出装置１は、後述の処理を実行するコンピュータシステムとして実現される。注意検出装置１は、中央処理部（ＣＰＵ）２と、ＲＡＭ３と、コンピュータプログラム４と、蓄積部５とを含んでいる。

ＣＰＵ２は、ＲＡＭ３に格納されたコンピュータプログラム４を実行することにより、そのプログラムの処理手順に従った機能を実現する。本実施形態においては、ＣＰＵ２は３つの主要な機能を実現する。すなわち
（１）ユーザの要求に基づいて注意検出装置１の反応（出力内容）を決定し、処理を実行する機器反応機能、
（２）生体信号検出部１５で検出された生体信号を解析して注目したい情報を取り出す信号解析機能、および
（３）信号解析部１６で解析された信号と蓄積部１３に蓄えられた動作修正候補から注意検出装置１の反応を修正する反応修正機能
である。本明細書においては、（１）〜（３）の各機能は別々のプログラムによって実現されるとする。ただし、１つのプログラム内の異なる処理モジュールなどとして実現することも可能である。コンピュータプログラムはＣＤ−ＲＯＭ等のコンピュータによって読み出し可能な記録媒体に記録される。そして、たとえばコンピュータプログラム製品として市場に流通され、または、インターネット等の電気通信回線を通じて伝送される。

図２においては、上述の（１）から（３）に対応する機能を注意検出装置１の構成要素として捉え、それぞれ機器反応部１２、信号解析部１６および反応修正部１７として記載している。上述のように、これらはソフトウェア的に実現することも可能であるが、ＤＳＰ等のハードウェア的に実現することも可能である。

蓄積部５は、たとえばハードディスクドライブである。蓄積部５は、機器反応部１２が反応を決定する際に利用するデータベースを保持するとともに、データベースを利用して生成した機器の動作候補の情報を記憶している。

本実施形態による注意検出システム１００は、ユーザが放送番組を視聴する環境において利用されることを想定する。このような想定の下では、蓄積部５は、放送番組に関する番組データベースを保持している。

図３は、蓄積部５に保持された番組データベース５１の例を示す。番組データベース５１内の各行は、各番組の番組情報に対応する。１つの番組情報は、チャンネル番号パラメータ５２、ジャンルパラメータ５３、番組名パラメータ５４および視聴履歴パラメータ５５から構成されている。各パラメータは、順にその番組のチャンネル番号、ジャンル、番組名および視聴履歴を示す情報が記述される。

視聴履歴以外の情報は、番組ガイド情報から生成される。番組ガイド情報とはたとえば電子番組表の生成に利用される情報である。注意検出装置１は放送波や通信ネットワークを介して番組ガイド情報を取得できる。一方、視聴履歴の情報はユーザがその番組を視聴した日時を示す。各番組の視聴履歴の登録数はその番組の視聴頻度（回数）を示している。

５．注意検出システム１００の処理
次に、図４のフローチャートを参照しながら、図２の注意検出システム１００における全体的な処理の流れを説明する。図４は、注意検出システム１００の処理の手順を示す。

ステップＳ１０において、入力部１１はユーザ１０からの要求の入力を受け付ける。たとえば入力部１１は、ユーザから「テレビをつけて」という入力を受け付ける。

ステップＳ２０において、入力された結果を元に、機器反応部１２はユーザ１０への出力内容を決定する。出力内容はユーザ１０の要求に最もかなうように決定される。もしも、ユーザ１０の要求が十分に明確でない場合は注意検出装置１は、ユーザ１０の要求を推定しなければならない。機器反応部１２は、蓄積部５に保持された番組データベース５１（図３）を参照して、その時点で放送されている番組のうち、視聴履歴の頻度がもっとも多い番組の選局を決定する。

ステップＳ３０において、出力部１４は、決定された出力内容を提示する。ここでは選局された番組の映像および音声が出力される。

次のステップＳ４０では、生体信号検出部１５はユーザ１０の生体信号を計測する。本発明では脳波計で測定可能な脳電位の変化を記録する。測定方法は、すでに説明した実験の測定方法と同様である。

ステップＳ５０において、信号解析部１６は計測された生体信号を解析する。より具体的には、信号解析部１６は、生体信号の中でも脳波事象関連電位に注目して、特定の脳波事象関連電位波形が信号の中に含まれているかどうかを判定する。

ステップＳ６０では、反応修正部１７は、信号解析結果に基づいて出力内容の修正の要否を決定し、修正が必要な場合には出力内容を修正する。具体的には、解析された生体信号に基づいて、出力内容（すなわち表示されている番組）に問題がないと判定する場合は、反応修正部１７は修正を行わない。一方、出力内容はユーザの期待に沿ったものではないと判定する場合は、反応修正部１７は出力内容を修正する。このとき次候補となる番組の選局を決定する。

そしてステップＳ７０において、機器反応部１２は、ステップＳ６０の処理の結果に基づいて、出力部１４を介して内容を再提示する。

以上の処理によれば、注意検出装置１の出力結果がユーザの期待に沿っていなかったときは、ユーザ１０が明示的にその意思表示をしなくても注意検出装置１がその出力内容を修正することができる。よって、ユーザ１０と注意検出装置１とのインタラクションは、スムーズに行われる。

以下、図５から図８までを参照しながら、上述のステップＳ２０、Ｓ５０およびＳ６０の処理を詳細に説明する。

６．機器反応部の処理
まず図５のフローチャートを参照しながら、図４のステップＳ２０の処理を詳細に説明する。この処理は機器反応部１２によって行われる。

図５は、機器反応部１２の処理の手順を示す。

ステップＳ２１では、機器反応部１２はユーザ１０の入力内容を分析する。そして、機器反応部１２は、ユーザ１０の要求が注意検出装置１の提供可能なサービスのどれに対応するかを対応付ける。

分析は、例えば音声入力に対しては音声認識プログラムや構文解析プログラムが利用される。ジェスチャ入力に対しては画像認識プログラムが利用される。マウスやキーボードへの入力に対してもどのキーが押されたか等が入出力プログラムによって認識される。

ステップＳ２２では、動作候補のリストアップがされる。一般的にステップＳ２１で行われる処理においては、ユーザ１０からの入力を認識する必要がある。しかし、その要求を完全に理解するのは難しい。

たとえば音声認識プログラムがユーザの発話をすべて認識することは困難である。仮に音声認識プログラムの性能が十分だったとしても、ユーザ１０の発話する文章の内容があいまい性を含んでいれば、注意検出装置１への動作の指示として不十分なこともある。このようなときには、動作の候補は複数出てきてしまう。

また、「テレビをつけて」という要求については、テレビの電源をＯＮする要求は容易に解釈可能である。しかし、テレビの電源をＯＮにした後にどの番組を最初に表示すればよいかについては、指示がない。よって、最初にどの番組（コンテンツ）を表示するかを決定する必要がある。

そこで、本実施形態においては、機器反応部１２はこれまでのユーザ１０の視聴頻度の高いものを順番に挙げて動作候補のリストを作成する。具体的には、機器反応部１２は、番組データベース５１の視聴履歴情報の履歴数に基づいて視聴頻度の高いものを順番に並べ、動作候補のリストを作成する。このように動作候補を決定すれば、注意検出装置１は可能な限りユーザの期待に沿って動作することができる。

図６は、機器反応部１２によって作成された動作候補のリスト４１を示す。機器反応部１２は、要求入力時において視聴可能な番組のうち、視聴頻度の高い番組の情報が順位付けられて配列されている。履歴数が同じ番組に関しては、より最近視聴された番組を上位に配列する等の規則を規定しておけばよい。これらの順位は動作候補のうち信頼度の大きい順を示すといえる。

動作候補のリスト４１は、ユーザ１０からの要求のあったタイミングやこれまでの視聴履歴から、番組「ニュースＸ」が動作候補の第１位として挙げられたことがわかる。以下、第２位は番組「ニュースＹ」、第３位は番組「天気予報Ｃ」、第４位は番組「アニメＡ」と続いている。これらは、どれも「テレビをつけて」という要求にかなっているものの、本当にユーザ１０が求めているものはいずれか１つであると考えられる。

また、動作候補第１位として採用された動作と関連して、同じカテゴリに属する動作候補と、別カテゴリに属する動作候補が、それぞれ「同：」「別：」という記号により示されている。このカテゴリは、番組のジャンルによって決定されており、図３に示すジャンルパラメータ５３に記述されている。

例えば、第２位の「ニュースＹ」は第１位の「ニュースＸ」と同じニュースカテゴリに属するので、「同：」が付与されている。一方、第３位の「天気予報Ｃ」や第４位の「アニメＡ」はニュースではないために「別：」が付与されている。本願発明者らは、このカテゴリ間の異同が脳波事象関連電位に基づいて検出可能であることを発見した。よってカテゴリに関する情報を含めて、次の候補を選出する基準として利用する。

なお図６には、他の要求に対するリスト４２および４３も示されている。リスト４２には「野球を見たい」という要求に対する動作候補が挙げられている。野球を見たいという要求に対して、どの動作候補も要求された文章として要件を満たしている。しかし、テレビ番組として放送されるプロ野球や大リーグの映像を見たい場合と、ユーザ自身が所属する草野球チームの前回の試合の映像を見たい場合とは、ユーザの期待はずれの程度は大きく異なってくる。

またリスト４３には、アクチュエータを備えたロボット等に対する「あれ取って」という要求に対する動作候補が挙げられている。後者は図１に示す例とは異なるシステムにおける要求およびリストの例である。ユーザ１０が、ロボットに新聞を取ってきてもらいたかった場合は第１位の候補動作を実行するための処理（移動処理、確保処理等）が実行されて特に問題がない。しかし新聞以外の物を希望していたときは、めがねが欲しかったのか、郵便物が欲しかったのかによって、ユーザの期待はずれの程度は大きく異なってくる。

再び図５を参照する。ステップＳ２３では、機器反応部１２は、得られた動作候補のリストを蓄積部１３に保存する。この動作候補のリストは、ユーザ１０に提示した情報がユーザ１０にとって期待通りのものではなかった場合（後述）に、動作を出力するための検討データになる。

ステップＳ２４では、機器反応部１２は、ステップＳ２３に蓄積された今回の動作候補のリストのうち、最も信頼度の高い候補を選択して、出力動作として決定する。複数の動作候補が決定される際には、何らかの推定動作の確からしさの基準が決定される。これは一般的に信頼度などと呼ばれ、動作候補を算出する際に各動作候補に付与される。例えばこれまでのユーザ１０の動作の選択頻度や、プロファイル情報などから設定され、この値が最も高い候補が出力される。

ユーザが普段、人間同士で行っている会話の中には、それまでの文脈などを参照して初めて内容が特定されるような、あいまいさを含んだ発話が存在する。これらを正しく解釈して、ユーザに対応することは、ユーザに親しまれつつ使われる注意検出装置１やロボットには必須の機能である。

よって上述の処理によれば、注意検出装置１はユーザ１０の要求を受けて、可能な限りユーザの期待に沿うように動作することができる。ただし、最初に採用された動作候補は、必ずしもユーザの期待に沿っているとは限らない。そのようなときは、すぐに正しい動作に修正できることも有効な機能になる。そこで図４のステップＳ５０およびＳ６０の処理が必要となる。

７．信号解析部の処理
次に図７のフローチャートを参照しながら、図４のステップＳ５０の処理を詳細に説明する。この処理は信号解析部１６によって行われる。

図７は、信号解析部１６の処理の手順を示す。

ステップＳ５１では、信号解析部１６は、取得された脳波信号とテンプレートとの相関計算を行い、どちらのテンプレートと現在の波形が相関しているかを算出する。

テンプレートとは、区別したい状態の典型的な波形をいう。テンプレートとしては、ユーザが期待はずれ状態にあるときの波形のテンプレート、および、ユーザが期待はずれ状態にないときの波形のテンプレートの２種類を事前の実験等により準備しておく。例えば、それぞれの状態の波形の加算平均などにより作成可能である。そして、各々のデータを蓄積部５に格納しておく。

相関計算によって、ユーザが期待はずれ状態にあるかどうかを判定することが可能である。なお相関計算方法は周知である。たとえば信号解析部１６は、特許文献１の図８に記載されるマハラノビス距離を用いて判別率を用いて判別を行う処理を利用して相関計算を行えばよい。本明細書においては、その詳細な説明は省略する。

ステップＳ５２では、信号解析部１６は、ステップＳ５１で計算された相関値の大きさによって処理を切り換える。もしも、期待はずれ時のテンプレートとの相関のほうが高い場合は、信号解析部１６は期待はずれ信号が含まれていたと判定する。そして処理はステップＳ５４に進む。一方、期待はずれでない時のテンプレートとの相関のほうが高い場合は、信号解析部１６は、期待はずれ信号は含まれていないと判定する。そして処理はステップＳ５３に進む。

ステップＳ５３では、信号解析部１６は期待はずれ信号が含まれていなかったと判定して、この注意検出処理は終了する。

ステップＳ５４では、信号解析部１６は、検出された脳波波形に基づいて事象関連電位の陽性の頂点を特定し、番組表示時点を起算点としたときの、その頂点が認められるまでの時間（潜時）を算出する。すでに説明したように、潜時は、ユーザ１０の期待との相違の程度を判定する信号になりえる。そして、算出された潜時が７５０ミリ秒よりも６００ミリ秒に近い場合は、処理はステップＳ５５にすすみ、そうでない場合はステップＳ５６に進む。なお、６００ミリ秒および７５０ミリ秒は厳密でなくてもよい。個人差等を考慮すると、それぞれ±５０ミリ秒程度の幅を持たせることが好ましい。

ステップＳ５５では、信号解析部１６は、表示されている番組のカテゴリはユーザ１０の期待していた番組のカテゴリとは相違すると判定する。そして注意検出処理は終了する。

ステップＳ５６では、信号解析部１６は、表示されている番組のカテゴリはユーザ１０の期待していた番組のカテゴリと一致するが、コンテンツ（番組）自体は異なっていると判定する。そして注意検出処理は終了する。

このような処理を行うことで、ユーザ１０の脳波を分類して、現在ユーザ１０は、注意検出装置１の出力に対して期待はずれを感じているかどうか、また期待はずれを感じているとすれば、その期待はずれの程度を判別できる。この処理は、ユーザがどの側面に注意を払って情報を見ていたかを判別する処理であるといえる。このためステップＳ５０の処理を注意検出処理と呼んでいる。

なお、上記の実施の形態では、テンプレートは期待はずれ信号の有無の判断についてのみ使用したが、このほかにも、３種類のテンプレート（期待はずれがない場合のテンプレート、別カテゴリの期待はずれがある場合のテンプレート、同一カテゴリの期待はずれがある場合のテンプレート）を用意して、どのテンプレートと最も相関が高いかを判定する方法も考えられる。この場合は、前記３種類の各テンプレートに対して、ステップＳ５３、ステップＳ５５、ステップＳ５６の判定を行うことで、同一の効果が得られる。

８．反応修正部の処理
次に図８のフローチャートを参照しながら、図４のステップＳ６０の処理を詳細に説明する。この処理は反応修正部１７によって行われる。

図８は、反応修正部１７の処理の手順を示す。

ステップＳ６１では、信号解析部１６（ステップＳ５０）で行われた解析結果を抽出する。解析結果とは、図７のステップＳ５４の判定結果、ステップＳ５３、Ｓ５５またはＳ５６の判定結果を意味する。

ステップＳ６２では、反応修正部１７は期待はずれの有無を判断する。図７のステップＳ５３による期待はずれなしの判定がされていれば、処理はステップＳ６３に進む。ステップＳ６３では、反応修正部１７は、動作の修正は必要ないとして処理は終了する。

ステップＳ６４では、反応修正部１７は、信号解析部１６によって別カテゴリとの判定がされていたか否かを判断する。図７のステップＳ５５による別カテゴリの判定がされていれば、処理はステップＳ６５に進む。一方、別カテゴリの判定がされていなければ、換言すれば図７のステップＳ５６により同一カテゴリとの判定がされていれば、処理はステップＳ６７に進む。

ステップＳ６５では、反応修正部１７は蓄積部１３に蓄積された動作候補リスト４１を抽出して、次のステップＳ６６を実行する。そしてステップＳ６６では、ステップＳ６５で抽出した動作候補に基づいて別のジャンルの番組を選択し、選択した番組の選局を決定する。

図６に示す動作候補リスト４１の例で説明する。ステップＳ６５およびＳ６６が実行されるときは、動作候補第１位の「ニュースＸ」に対して、ユーザ１０はその機器動作は期待はずれであり、かつ「ニュースＸ」とは別のカテゴリの番組を期待していたことを意味する。よって反応修正部１７は、動作候補リスト４１の優先順位の上から順に別カテゴリの番組を検索する。そして第３位の「天気予報Ｃ」を選局候補として抽出する。そしてステップＳ６６によって、現在の「ニュースＸ」を「天気予報Ｃ」に修正する。

次にステップＳ６７およびステップＳ６８を説明する。ステップＳ６７では、反応修正部１７は蓄積部１３に蓄積された動作候補リスト４１を抽出して、次のステップＳ６８を実行する。ステップＳ６８では、反応修正部１７はステップＳ６７で抽出した動作候補に基づいて同じジャンルの番組を選択し、選択した番組の選局を決定する。

図６に示す動作候補リスト４１の例で説明する。ステップＳ６７およびＳ６８が実行されるときは、動作候補第１位の「ニュースＸ」に対して、ユーザ１０はその機器動作は期待はずれであるが、「ニュースＸ」とは同一カテゴリの番組を期待していたことを意味する。よって反応修正部１７は、動作候補リスト４１の優先順位の上から順に同じカテゴリの番組を検索する。そして第２位の「ニュースＹ」を動作候補として抽出する。そしてステップＳ６８によって、現在の「ニュースＸ」を「ニュースＹ」に修正する。この結果、「ニュースＹ」が出力されてユーザの期待に沿うことができる。なお「ニュースＹ」が選局されることによって、番組データベース５１の視聴履歴が更新される。

このような処理によって、ユーザ１０の期待はずれ信号を検出して、その期待はずれは何に注意を払っていて発生したものかを判断した上で、動作を修正して、ユーザ１０の期待になるべく近い動作を提供することが実現される。

上述の注意検出システム１００の構成および動作によれば、潜時が６００ミリ秒前後で計測されたかまたは７５０ミリ秒前後で計測されたかに応じて、機器が次に行うべき動作処理を変化させている。潜時が６００ミリ秒前後で計測された場合には、カテゴリ自体がユーザの期待と異なっていたとして、機器は現在の動作処理と異なるカテゴリの処理を実行する。一方、潜時が７５０ミリ秒前後で計測された場合には、カテゴリは同一であるがコンテンツがユーザの期待と異なっていたとして、機器は現在の動作処理と同じカテゴリの処理を実行する。これにより、もしもユーザの要望どおりに機器が動作しなかった場合においても、ユーザが明示的に指定せずに、機器がユーザの注意に合わせて動作を修正することが可能となる。

以上、本発明の実施形態を説明した。

上述の図７においては、ステップＳ５２で期待はずれ信号の有無を判定し、その後のステップＳ５４において潜時が認められる時間を判定していた。しかし、この２つのステップは１つに統合することも可能である。たとえばステップＳ５１において利用するテンプレートを、６００ミリ秒前後で陽性の頂点が現れる波形のテンプレート、７５０ミリ秒前後で陽性の頂点が現れる波形のテンプレート、および、ユーザが期待はずれ状態にないときの波形のテンプレートの３種類とする。そして、取得された脳波信号（事象関連電位）と３種類のテンプレートとの相関計算を行う。これにより、期待はずれの有無のみならず、潜時が６００ミリ秒前後か７５０ミリ秒前後かの結果を同時に出力できる。

上述の図４に示すステップＳ６０においては、その時点におけるユーザ１０に対する情報が修正される。しかし次に動作候補リストを生成するときには、機器反応部１２は最初から修正結果を反映したリストを作成してもよい。これにより、動作候補生成処理がユーザの生体信号を用いて学習され、徐々に、期待はずれの信号が検出されない状態に移行できる。

本実施形態においては、「テレビをつけて」というユーザからのあいまいな指示に対する対応方法を説明し、さらに図６においては「野球を見たい」、「あれ取って」という曖昧な指示の例を挙げた。しかし、ユーザがあいまいな指示をした場合に推定を間違えたときの修正方法は種々考えられる。

例えば、ユーザが特定のコンテンツを指定するのが困難な、パソコンに保存してある大量のデジタルカメラで撮影した写真の検索やなどがある。特定の写真を検索したいときに、「遊園地に行ったときの写真」と指定されても、何枚もありその場合に特定の写真を表示しても推定が外れる場合もある。この場合においても、最初家族の写真を提示したときに、期待はずれが発生した場合、同一カテゴリであれば別の場所で撮影した家族の写真を表示すればよいし、別カテゴリであれば人の写っていない風景の写真を表示するなどが考えられる。

また、ユーザが電話をかけたい場合も、パソコンに電子的に保存された電話リストを指定して電話をする状況において、「取引先のＡさん」などと指定された場合も、Ａさんが複数の取引先にいるかもしれないし、同じ取引先内にもいるかもしれない。このような時も、もしも違っていた場合は、脳波によって期待はずれの信号を取得して、ユーザの所望の検索結果に早く到達できる。

本発明の情報処理装置および情報処理システムは、生体信号検出部および信号解析部を有しており、生体信号を解析することで、機器の動作の何に期待はずれを感じているかを判定できる。そして、その期待はずれの程度に応じて処理の内容を修正する。これにより、ユーザとの情報のやりとりを行う情報機器や映像音響機器などのインタフェースの改善に有用である。また、ユーザにサービスを提供する機器、ロボットや家電製品への搭載および応用が可能である。

注意検出システム１００の構成例を示す図である。 注意検出システム１００の機能ブロックの構成を示す図である。 蓄積部５に保持された番組データベース５１の例を示す図である。 注意検出システム１００の処理の手順を示すフローチャートである。 機器反応部１２の処理の手順を示すフローチャートである。 機器反応部１２によって作成された動作候補のリスト４１を示す図である。 信号解析部１６の処理の手順を示すフローチャートである。 反応修正部１７の処理の手順を示すフローチャートである。 本実験の概要を時系列で示す図である。 実験において使用した問題の例を示す図である。 実験の手順を示すフローチャートである。 被験者の脳波を測定するための電極の貼り付け位置を示す図である。 （ａ）〜（ｃ）は、それぞれ問題種類１〜３に対する実験データの解析結果を示す図である。

符号の説明

１ 注意検出装置
２ ＣＰＵ
３ ＲＡＭ
４ コンピュータプログラム
５ 蓄積部
１０ ユーザ
１１ 入力部
１２ 機器反応部
１４ 出力部
１５ 生体信号検出部
１６ 信号解析部
１７ 反応修正部
１００ 注意検出システム

Claims (8)

1. ユーザの要求に基づいて第１処理を実行する反応部と、
   処理の結果を出力する出力部と、
   ユーザ脳波の事象関連電位に関する信号を計測する信号検出部と、
   前記結果が出力されてから、前記事象関連電位の陽性の頂点が現れるまでの経過時間が、第１基準時間および第２基準時間のいずれに近いかを判定する解析部であって、前記第１基準時間を６００±５０ミリ秒とし、前記第２基準時間を７５０±５０ミリ秒として判定する解析部と、
   判定結果に応じて第２処理を決定する反応修正部と
   を備え、前記反応部は前記第２処理を実行する、情報処理システム。
2. 処理の実行に利用される複数のパラメータを保持する蓄積部をさらに備え、
   前記複数のパラメータの各々は複数のカテゴリに分類可能であり、
   前記反応修正部は、
   前記経過時間が前記第１基準時間である６００±５０ミリ秒に近いことを示す判定結果を受け取ったときは、前記第１処理に利用されたパラメータと異なるカテゴリに属するパラメータを選択し、
   前記経過時間が前記第２基準時間である７５０±５０ミリ秒に近いことを示す判定結果を受け取ったときは、前記第１処理に利用されたパラメータと同じカテゴリに属するパラメータを選択して、選択したパラメータを利用する処理を前記第２処理として決定する、請求項１に記載の情報処理システム。
3. 前記蓄積部は、各パラメータの利用頻度を示す履歴情報を保持しており、
   前記反応部は、前記履歴情報に基づいてパラメータを選択し、選択した前記パラメータを利用して前記第１処理を実行する、請求項２に記載の情報処理システム。
4. 前記反応修正部は、まだ選択されていないパラメータのうち、前記利用頻度が最も高いパラメータを選択して前記第２処理を決定する、請求項３に記載の情報処理システム。
5. 前記第２処理の実行に応じて、前記蓄積部は前記第２処理に利用されたパラメータの履歴情報を更新する、請求項３に記載の情報処理システム。
6. 映像および音声の少なくとも１つに関する第１コンテンツおよび第２コンテンツに関し、
   前記反応部は、前記第１コンテンツの出力処理を前記第１処理として実行し、前記第１コンテンツとは異なる第２コンテンツの出力処理を前記第２処理として実行する、請求項１に記載の情報処理システム。
7. 入力装置、出力装置および信号検出装置と接続される情報処理装置であって、
   前記入力装置は、ユーザの要求を受け取る手段を備え、
   前記出力装置は、受け取った信号を出力する手段を備え、
   前記信号検出装置は、ユーザ脳波の事象関連電位に関する信号を計測する手段を備えており、
   前記情報処理装置は、
   前記入力装置からの前記ユーザの要求に基づいて第１処理を実行して信号を出力する反応部と、
   前記事象関連電位に関する信号に基づいて、前記事象関連電位の陽性の頂点を特定し、前記結果が出力されてから前記頂点が現れるまでの経過時間が、第１基準時間および第２基準時間のいずれに近いかを判定する解析部であって、前記第１基準時間を６００±５０ミリ秒とし、前記第２基準時間を７５０±５０ミリ秒として判定する解析部と、
   判定結果に応じて第２処理を決定する反応修正部と
   を備え、前記反応部は前記第２処理を実行して信号を出力する、情報処理装置。
8. ユーザの要求に基づいて第１処理を実行するステップと、
   処理の結果を出力するステップと、
   ユーザ脳波の事象関連電位に関する信号を計測するステップと、
   前記信号から前記事象関連電位の陽性の頂点を特定するステップと、
   前記結果が出力されてから前記頂点が現れるまでの経過時間が、第１基準時間および第２基準時間のいずれに近いかを判定するステップであって、前記第１基準時間を６００±５０ミリ秒とし、前記第２基準時間を７５０±５０ミリ秒として判定するステップと、
   判定結果に応じて第２処理を決定するステップと、
   前記第２処理を実行するステップと
   を包含する情報処理方法。

Images