JPWO2020202488A1 - 検出されたユーザの意思を利用した端末装置 - Google Patents

Abstract

ユーザの意図・意思に関する情報を利用して、ユーザが実際に入力インターフェイスを操作するよりも簡便に操作入力を可能にするための、ユーザによる疑似的な操作が可能に構成された疑似入力インターフェイスと、前記疑似入力インターフェイスに対する操作を行う前記ユーザの意思を検出可能なセンサ装置から、前記センサ装置で検出されたユーザの意思を示す意思情報を受信する外部通信インターフェイスと、前記疑似入力インターフェイスに対して前記ユーザが実際に行う操作に関わらず、前記外部通信インターフェイスが受信した前記意思情報から前記ユーザの操作を特定し、特定された前記操作に対応する処理を実行するように構成されたプロセッサと、を含む端末装置。

Description

本開示は、検出されたユーザの意思を利用した端末装置、プログラム、方法、及びシステムに関する。

ヒトは、外部から刺激を受けると、感覚受容器でその刺激を知覚し、判断し、なすべきことをデザインし、最終的に末梢の筋肉を収縮させ動作する。そして、一般的に、この刺激から動作まで何ら負荷のない状況でさえ２００ミリ秒の時間を要することが知られていた（非特許文献１）。例えばスマートフォンに代表されるような端末装置の操作においては、端末装置以外からも様々な刺激を受けそれによる判断が必要とされる状況下で操作されるため、ディスプレイから何らかの刺激を受けて指示入力を与えるまでに、２００ミリ秒以上の時間を要することが容易に考えられる。

また、入力インターフェイスにおいては、筋肉を収縮させ動作を開始してからも、手指やマウスの移動、位置決め、タッチ（クリック）などの各タスクをこなす必要があり、全てを完結させるのに２００ミリ秒〜１２００ミリ秒もの時間を要することが知られている（非特許文献２）。

一方、従来より、ユーザの脳波を検出して、測定された脳波に基づいてユーザの意図を測り、様々な機器を操作し得ることが知られていた。たとえば、特許文献１には、ユーザの脳波によりユーザの注意領域及び注意度を測定し、電動車椅子の移動方向や速度を制御することが記載されている。

特開２００７−２０２８８２号公報

川村仁視ら「『反応時間の筋電図学的研究』 Ｉ」 愛知工業大学研究報告 Ｎｏ．７，３３〜４３頁，１９７２年３月３０日発行 駒崎雅信「タッチスクリーンにおける人のポインティング特性に関する研究」 電気通信大学博士論文，２００８年９月

そこで、上記のような技術を踏まえ、本開示では、様々な実施形態により、ユーザの意図・意思に関する情報を利用して、ユーザが実際に入力インターフェイスを操作するよりも簡便に操作入力が可能な端末装置、プログラム、方法、及びシステムを提供する。

本開示の一態様によれば、「ユーザによる疑似的な操作が可能に構成された疑似入力インターフェイスと、有線又は無線により接続され、かつ前記疑似入力インターフェイスに対する操作を行う前記ユーザの意思を検出可能なセンサ装置から、前記センサ装置で検出されたユーザの意思を示す意思情報を受信する外部通信インターフェイスと、所定の指示命令を記憶するように構成されたメモリと、前記指示命令に基づいて、前記疑似入力インターフェイスに対して前記ユーザが実際に行う操作に関わらず、前記外部通信インターフェイスが受信した前記意思情報から前記ユーザの操作を特定し、特定された前記操作に対応する処理を実行するように構成されたプロセッサと、を含む端末装置」が提供される。

本開示の一態様によれば、「ユーザによる疑似的な操作が可能に構成された疑似入力インターフェイスと、有線又は無線により接続され、かつ前記疑似入力インターフェイスに対する操作を行う前記ユーザの意思を検出可能なセンサ装置から、前記センサ装置で検出されたユーザの意思を示す意思情報を受信する外部通信インターフェイスと、所定の指示命令を記憶するように構成されたメモリと、を含むコンピュータを、前記指示命令に基づいて、前記疑似入力インターフェイスに対して前記ユーザが実際に行う操作に関わらず、前記外部通信インターフェイスが受信した前記意思情報から前記ユーザの操作を特定し、特定された前記操作に対応する処理を実行するように構成されたプロセッサ、として機能させるプログラム」が提供される。

本開示の一態様によれば、「ユーザによる疑似的な操作が可能に構成された疑似入力インターフェイスと、有線又は無線により接続され、かつ前記疑似入力インターフェイスに対する操作を行う前記ユーザの意思を検出可能なセンサ装置から、前記センサ装置で検出されたユーザの意思を示す意思情報を受信する外部通信インターフェイスと、所定の指示命令を記憶するように構成されたメモリと、を含むコンピュータにおいて、プロセッサが前記指示命令を実行することによりなされる方法であって、前記疑似入力インターフェイスに対して前記ユーザが実際に行う操作に関わらず、前記外部通信インターフェイスが受信した前記意思情報から前記ユーザの操作を特定する段階と、特定された前記操作に対応する処理を実行する段階と、を含む方法」が提供される。

本開示の一態様によれば、「上記のいずれかの端末装置と、前記端末装置に有線又は無線により接続され、かつ前記端末装置の入力インターフェイスに一又は複数の操作入力をするユーザの意思を検出可能なセンサ装置と、を含む、システム」が提供される。

本開示の一態様によれば、「ユーザによる疑似的な操作が可能に構成された疑似入力インターフェイスと、有線又は無線により接続され、かつ前記疑似入力インターフェイスに対する操作を行う前記ユーザの意思を示す信号を受信する外部通信インターフェイスと、所定の指示命令を記憶するとともに、前記信号と前記ユーザの意思との対応関係を記憶するメモリと、前記指示命令に基づいて、前記疑似入力インターフェイスに対して前記ユーザが実際に行う操作に関わらず、受信した前記信号と前記メモリに記憶された前記対応関係とから前記ユーザの意思情報を生成し、生成された前記意思情報から前記ユーザの操作を特定し、特定された前記操作に対応する処理を実行するように構成されたプロセッサと、を含む端末装置」が提供される。

本開示の様々な実施形態によれば、ユーザの意図・意思に関する情報を利用して、ユーザが実際に入力インターフェイスを操作するよりも簡便に操作入力が可能な端末装置、プログラム、方法、及びシステムを提供することができる。

なお、上記効果は説明の便宜のための例示的なものであるにすぎず、限定的なものではない。上記効果に加えて、または上記効果に代えて、本開示中に記載されたいかなる効果や当業者であれば明らかな効果を奏することも可能である。

図１は、本開示の様々な実施形態に係るシステムにおける処理を概念的に示す図である。 図２は、本開示の第１実施形態に係るシステムにおける処理を概念的に示す図である。 図３は、本開示の第１実施形態に係るシステム１の構成の例を示すブロック図である。 図４Ａは、本開示の第１実施形態に係る脳波センサ装置２００のメモリ２１２に記憶される操作特定テーブルを概念的に示す図である。 図４Ｂは、本開示の第１実施形態に係る端末装置１００のメモリ１１３に記憶される処理特定テーブルを概念的に示す図である。 図５は、本開示の第１実施形態に係る端末装置１００、脳波センサ装置２００、及びサーバー装置３００との間で実行される処理シーケンスを示す図である。 図６は、本開示の第１実施形態にかかる端末装置１００において実行される処理フローを示す図である。 図７は、本開示の第２実施形態に係るシステムにおける処理を概念的に示す図である。 図８Ａは、本開示の第２実施形態に係る脳波センサ装置２００のメモリ２１２に記憶される操作特定テーブルを概念的に示す図である。 図８Ｂは、本開示の第２実施形態に係る端末装置１００のメモリ１１３に記憶される処理特定テーブルを概念的に示す図である。 図９は、本開示の第３実施形態に係るシステムにおける処理を概念的に示す図である。 図１０Ａは、本開示の第３実施形態に係る脳波センサ装置２００のメモリ２１２に記憶される操作特定テーブルを概念的に示す図である。 図１０Ｂは、本開示の第３実施形態に係る端末装置１００のメモリ１１３に記憶される処理特定テーブルを概念的に示す図である。

添付図面を参照して本開示の様々な実施形態を説明する。なお、図面における共通する構成要素には同一の参照符号が付されている。

＜本開示に係るシステムの概要＞
図１は、本開示の様々な実施形態に係るシステムにおける処理を概念的に示す図である。図１によると、当該システムでは、ユーザ１１に取り付けた脳波センサ装置２００により検出した脳波に基づいて、ユーザ１１の操作入力をするという意思を検出し、その検出結果に応じて、ユーザ１１が入力しようとする操作に対応する処理を実行する。

ここで、一般に、スマートフォンなどに代表される端末装置において、ユーザが端末装置を操作するための入力インターフェイスは、非常に重要な構成要素である。例えば、ユーザの意図を脳波により検出し、その検出された意図に応じて端末装置を処理しさえすれば、ユーザが見たい画面への遷移など、ユーザの所望の結果を得ることは可能である。しかし、その場合、端末装置に対してユーザは何ら操作を行っていないため、ユーザ自らが端末装置を操作している感覚を得づらく、操作感の乏しいものとなる。より充実した操作感を得るためには、ユーザ自らが端末装置の入力インターフェイスを「押した」、「接触した」などの操作を行ったことを知覚することが重要となる。

そこで、本開示の端末装置においては、ユーザの意図を脳波により検出し、その検出された意図に応じた処理がなされる一方で、端末装置を操作したユーザに対して、「押した」、「接触した」などの操作を行ったことを知覚させることが可能な疑似入力インターフェイスを備える。

一例として示された図１のシステムでは、端末装置１００のディスプレイ１１１にアイコン２１及び２２を表示させる。当該アイコン２１及び２２は、ユーザがこれらのアイコンに指示体１２で接触すると、各アイコンに割り当てられた処理が実行されることを疑似的に知覚させるために表示される。したがって、実際にアイコン２１及び２２に接触したとしても、当該接触をトリガーとして処理が実行されるわけではない。

一方で、ユーザ１１に取り付けた脳波センサ装置２００で、ディスプレイ１１１に表示されたアイコン２１又は２２のいずれかを操作するというユーザ１１の意思を検出すると、当該意思に関する情報を端末装置１００に送信する。端末装置１００は、当該情報を受信すると、アイコン２１又は２２のいずれかに対応付けられた処理を実行する。つまり、アイコン２１又は２２に対応付けられた処理の実行は、ユーザ１１が指示体１２によって実際に接触されたことを検出することを要せず、検出された意思に関する情報に基づいて行われる。

なお、本開示において、「疑似入力インターフェイス」とは、接触や押下などの操作がなされたとしても、当該操作が処理の実行のトリガーとして扱われない入力インターフェイスのことをいう。したがって、図１では、「疑似入力インターフェイス」の例として、ディスプレイ１１１に表示されたアイコンを挙げた。しかし、「疑似入力インターフェイス」は、アイコンに限らず、ディスプレイ１１１に表示された他の表示オブジェクトや、ディスプレイ１１１そのもの、端末装置１００の筐体に固定的に設けられたハードキーなどであってもよい。

また、「疑似入力インターフェイス」は、常に、接触や押下などの操作がなされても当該操作をトリガーとして扱わないようにする必要はない。すなわち、端末装置１００のモード、起動している機能・アプリケーション、ユーザの選択などに応じて、ユーザの意思検出機能がオンになっているときだけ、トリガーとして扱わないようにすれば良い。したがって、上記以外の時には、疑似入力インターフェイスとして機能するのではなく、操作を受け付けると所定の処理を実行するためのトリガーとなる入力インターフェイスとして機能してもよい。

＜第１実施形態＞
１．本開示の第１実施形態に係るシステム１の構成
図２は、本開示の第１実施形態に係るシステムにおける処理を概念的に示す図である。図２によると、ユーザ１１に取り付けた脳波センサ装置２００で、疑似入力インターフェイスとして機能するディスプレイ１１１に対する接触、又はハードキー１１６に対する押下をするというユーザ１１の意思を脳波から検出すると、サーバー装置３００との通信を開始し、必要な情報の送受信を行う。このとき、サーバー装置３００との通信は検出されたユーザ１１の意思に基づいて行われており、実際にユーザ１１の指示体１２でディスプレイ１１１に対する接触や、ハードキー１１６に対する押下の検出は必要としていない。つまり、ディスプレイ１１１に対する接触やハードキー１１６に対する押下の有無にかかわらず、検出された意思に対応する処理を実行する。

図３は、本開示の第１実施形態に係るシステム１の構成の例を示すブロック図である。図３を参照すると、システム１は、端末装置１００と、当該端末装置１００と有線又は無線により通信可能に接続された脳波センサ装置２００とを含む。端末装置１００及び脳波センサ装置２００は、図３に示す構成要素の全てを備える必要はなく、一部を省略した構成をとることも可能であるし、他の構成要素を加えることも可能である。

端末装置１００は、一例としては、スマートフォンに代表される無線通信可能な携帯型の端末装置が挙げられる。しかし、それ以外にも、携帯型ゲーム機、フィーチャーフォン、携帯情報端末、ＰＤＡ、ラップトップパソコン、デスクトップパソコン、据え置き型ゲーム機、音楽プレイヤー、複合機やレーザープリンターなどの印刷装置、工作機械や製造機械などの操作装置、カーナビゲーションシステムや自動車などの車載装置など、他の装置や他のモジュールなどと情報の入出力が可能で、ユーザによる操作入力が可能な装置であれば、本実施形態に係るシステム１を好適に適用することが可能である。

図３によると、端末装置１００は、ディスプレイ１１１、プロセッサ１１２、メモリ１１３、タッチセンサ１１５及びハードキー１１６を含む入力インターフェイス１１４、並びにアンテナに接続された無線通信処理回路１１８及びＩ／Ｏポート１１９を含む外部通信インターフェイス１１７を含む。そして、これらの各構成要素が制御ライン及びデータラインを介して互いに電気的に接続される。

ディスプレイ１１１は、プロセッサ１１２の指示に応じて、メモリ１１３に記憶された画像情報を読み出して各種表示を行う表示部として機能する。具体的には、ディスプレイ１１１は、例えば、図２の例においては、ゲームアプリケーションを起動した直後の画面において、ユーザからのスタート操作を受け付けるタイトル画面を表示する。また、特に図示はしないが、タイトル画面でタッチセンサ１１５又はハードキー１１６に対する操作入力を受け付けた場合には、当該ゲームアプリケーションのスタート画面を表示する。また、これらの表示によって、ディスプレイ１１１に対する操作が可能なことをユーザ１１に知覚させることで、ディスプレイ１１１そのものが疑似入力インターフェイスとして機能する。ディスプレイ１１１は、例えば液晶ディスプレイから構成される。

プロセッサ１１２は、ＣＰＵ（マイクロコンピュータ：マイコン）から構成され、メモリ１１３に記憶された各種プログラムに基づいて、接続された他の構成要素を制御する制御部として機能する。プロセッサ１１２は、メモリ１１３に記憶された指示命令、すなわち本実施形態に係るゲームアプリケーションを実行するためのプログラムやＯＳを実行するためのプログラムを処理する。具体的には、プロセッサ１１２は、脳波センサ装置２００から受信した「操作入力をする」というユーザの意思を示す意思情報からユーザの操作を特定し、特定される操作に対応する処理を実行する。また、プロセッサ１１２は、場合により、入力インターフェイス１１４によりユーザの操作入力を受け付けると、当該操作入力により特定される操作情報に対応する処理を行ってもよい。なお、プロセッサ１１２は、単一のＣＰＵで構成されても良いが、複数のＣＰＵで構成されても良い。また、ＧＰＵ等、他の種類のプロセッサを適宜組み合わせてもよい。

メモリ１１３は、ＲＡＭ、ＲＯＭ、又は不揮発性メモリ（場合によっては、ＨＤＤ）を含み、記憶部として機能する。ＲＯＭは、本実施形態に係るアプリケーションやＯＳを実行するための指示命令をプログラムとして記憶する。ＲＡＭは、ＲＯＭに記憶されたプログラムがプロセッサ１１２により処理されている間、データの書き込み及び読み込みをするために用いられるメモリである。不揮発性メモリは、当該プログラムの実行によってデータの書き込み及び読み込みが実行されるメモリであって、ここに書き込まれたデータは、当該プログラムの実行が終了した後でも保存される。また、メモリ１１３には、脳波センサ装置２００によって検出された操作情報と、その操作によってなされる処理内容とが対応付けられた処理特定テーブル（図４Ｂ）が記憶される。

入力インターフェイス１１４は、タッチセンサ１１５及びハードキー１１６を含み、ユーザからの様々な操作入力を受け付けるための入力部として機能する。タッチセンサ１１５は、ディスプレイ１１１に表示されたアイコンの操作や、ユーザによる文字列の入力など、ユーザからの各種操作入力の受け付けに利用される。タッチセンサ１１５は、ディスプレイ１１１を被覆するように配置され、ディスプレイ１１１の表示する画像データに対応して、指示体１２（ユーザの指やスタイラス等）の近接座標や接触座標の情報を出力する。タッチセンサ方式としては、抵抗膜方式、静電容量結合方式、超音波表面弾性波方式など、公知の方式を利用することができる。本実施形態においては、ユーザの指示体１２の近接も検出するため、静電容量結合方式のタッチセンサ１１５を用いるのが好ましい。ハードキー１１６には公知のものを適宜利用することができる。

本実施形態においては、脳波センサ装置２００で検出された脳波に基づいて処理を行うため、疑似入力インターフェイスを備える。したがって、必ずしも入力インターフェイス１１４を備える必要はない。入力インターフェイス１１４を備える場合には、脳波センサ装置２００に基づく処理と併用してもよいし、脳波センサ装置２００に基づく処理がされない場合にのみ、入力インターフェイス１１４に基づく処理を行うようにしてもよい。

また、本実施形態においては、ディスプレイ１１１を疑似入力インターフェイスとして機能させる。しかし、入力インターフェイス１１４も、場合に応じて、受け付けた操作を処理のトリガーとはせずに、疑似入力インターフェイスとして機能させてもよい。

外部通信インターフェイス１１７は、無線通信処理回路１１８、及び当該無線通信処理装置に接続されたアンテナ、並びにＩ／Ｏポート１１９を含み、通信部として機能する。外部通信インターフェイス１１７は、遠隔に設置され、ネットワークを介して接続されたサーバー装置３００と、様々なアプリケーションの実行に必要なプログラムや、ユーザ情報、描画情報などの送受信を行う。特に本実施形態では、操作入力をするユーザの意思情報を脳波センサ装置２００から受信する。

無線通信処理回路１１８及びアンテナは、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ
Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式やＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）方式に代表されるような広帯域の無線通信方式に基づいて処理されるが、ＩＥＥＥ８０２．１１に代表されるような無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）のような狭帯域の無線通信に関する方式に基づいて処理することも可能である。

Ｉ／Ｏポート１１９は、有線により接続された外部装置のＩ／Ｏポートと接続される。Ｉ／Ｏポート１１９は、シリアルポート、パラレルポート、ＵＳＢ等、所望の接続形式を採用することが可能である。

なお、本実施形態においては、脳波センサ装置２００との間で意思情報を含む様々な情報の送受信を行うが、この送受信は、無線通信処理回路１１８を介した無線通信と、Ｉ／Ｏポート１１９を介した有線通信とのいずれで行ってもよい。本実施形態にかかる端末装置１００を使用する場合、感覚受容器でその刺激を知覚し（ディスプレイ１１１上に表示された情報を認識し）、判断し、操作入力を決定し、最終的に末梢の筋肉を収縮させて動作（タッチセンサ１１５への操作入力）させるまでに２００ミリ秒以上の時間を要する。したがって、この時間を考慮して、脳波センサ装置２００との間の通信方式は、通信速度が早ければ早いほど好ましいが、一定以上の通信速度が確保できればよく、通信の安定性や速度の観点から適宜選択することが可能である。

また、図３によると、脳波センサ装置２００は、一又は複数の電極Ｅ１〜Ｅｎを含む脳波センサ２１１、メモリ２１２、プロセッサ２１３、外部通信インターフェイス２１４を含む。そして、これらの各構成要素が制御ライン及びデータラインを介して互いに電気的に接続される。

脳波センサ２１１は、一又は複数の電極Ｅ１〜Ｅｎを含む。脳は、一般に大脳皮質が知覚、随意運動、思考、推理などの各機能をつかさどり、さらに大脳皮質の中でも各部位ごとに果たす役割が異なることが知られている。たとえば、端末装置１００の操作入力を指で行うには、眼窩前頭皮質、運動連合野、一次運動野の働きが必要となる。したがって、電極Ｅ１〜Ｅｎは、これらの活動部位に対応する頭皮上の位置に配置される。なお、電極Ｅ１〜Ｅｎの配置及び個数は、あらかじめ脳波センサ装置２００を用いて、ユーザの脳波のサンプリングを行い、入力インターフェイス１１４への操作を行うときに観測されるピークが最も強く検出される電極を適宜選択することで決定することも可能である。各電極Ｅ１〜Ｅｎから出力されるアナログ信号は適宜デジタル信号に変換されてその後の処理に用いられる。

メモリ２１２は、ＲＡＭ、ＲＯＭ、又は不揮発性メモリ等を含み、記憶部として機能する。ＲＯＭは、本実施形態に係る脳波センサ２１１の制御や端末装置１００への情報の送受信を実行するための指示命令をプログラムとして記憶する。ＲＡＭは、ＲＯＭに記憶されたプログラムがプロセッサ２１３により処理されている間、データの書き込み及び読み込みをするために用いられるメモリである。不揮発性メモリは、当該プログラムの実行によってデータの書き込み及び読み込みが実行されるメモリであって、ここに書き込まれたデータは、当該プログラムの実行が終了した後でも保存される。本実施形態においては、メモリ２１２には、疑似入力インターフェイスに対して操作をしようとした場合に検出される脳波の特徴点と、その特徴点が検出された場合に行われる処理内容とが対応付けられた操作特定テーブル（図４Ａ）が記憶される。

プロセッサ２１３は、ＣＰＵ（マイクロコンピュータ：マイコン）から構成され、メモリ２１２に記憶された各種プログラムに基づいて、接続された他の構成要素を制御する制御部として機能する。プロセッサ２１３は、メモリ２１２に記憶された指示命令を実行するためのプログラムを処理する。具体的には、プロセッサ２１３は、脳波センサ２１１から出力された脳波信号と、操作特定テーブルを参照し、あらかじめサンプリングされた脳波信号の特徴点との一致点を判定し、ユーザがどのような操作内容の入力を行おうとしていたのかを判定する。

外部通信インターフェイス２１４は、端末装置１００との情報の送受信のために用いられる通信部として機能する。したがって、外部通信インターフェイス２１４は、端末装置１００の外部通信インターフェイス１１７に対応して、無線通信処理回路１１８、当該無線通信処理装置に接続されたアンテナ、並びにＩ／Ｏポート１１９を適宜含む。

２．メモリ２１２に記憶された情報
図４Ａは、本開示の第１実施形態に係る脳波センサ装置２００のメモリ２１２に記憶される操作特定テーブルを概念的に示す図である。具体的には、当該テーブルは、あらかじめサンプリングされたユーザが各操作入力を疑似的に行う時の脳波信号の特徴点を記憶し、ユーザがどのような疑似的な操作を行おうとしていたのかの判定に用いられる。図４Ａによると、各操作入力ＩＤ情報に対応付けて、特徴点情報と、操作内容情報とが記憶されている。特徴点情報は、あらかじめユーザが各種操作入力を疑似入力インターフェイスとして機能するディスプレイ１１１に対して行う時の脳波をサンプリングし、そこから得られた波形から特定された疑似的な各操作の特徴的なピークに関する情報である。操作内容情報は、各特徴点情報が得られたときにユーザが行っていた疑似的な操作の内容を示す情報である。本実施形態においては、例えば脳波センサ２１１において検出された脳波の波形が有する特徴点と、図４Ａの操作特定テーブルに記憶された各特徴点とを比較し、「Ｔ１」の特徴点情報と一致した場合には、疑似的な操作内容情報として「タッチ」入力が特定される。そして、脳波センサ装置２００からは、「タッチ」入力に対応する操作入力ＩＤ情報「Ｏ１」が意思情報として端末装置１００に出力される。

図４Ｂは、本開示の第１実施形態に係る端末装置１００のメモリ１１３に記憶される処理特定テーブルを概念的に示す図である。具体的には、当該テーブルは、意思情報として脳波センサ装置２００から受信した操作入力ＩＤ情報と、それによって特定される処理内容とを対応付けて記憶する。図４Ｂによると、各処理ＩＤ情報に対応付けて、操作入力ＩＤ情報と処理内容とが記憶されている。操作入力ＩＤ情報は、脳波センサ装置２００で特定されたユーザが入力しようとした疑似的な操作を特定した情報である。処理内容情報は、ユーザが疑似入力インターフェイスに対して行った所定の疑似操作に基づいてプロセッサ１１２によって実行される処理内容を示す情報である。本実施形態においては、例えば脳波センサ装置２００から操作入力ＩＤ情報「Ｏ１」を受信すると、プロセッサ１１２は、当該処理特定テーブルを参照して、操作入力ＩＤ情報「Ｏ１」に対応付けられた処理内容情報（「次画面へ遷移」）を判定し、次画面へ遷移するための処理（サーバー装置３００との通信、描画処理など）を実行する。

３．各装置間で実行される処理シーケンス
図５は、本開示の第１実施形態に係る端末装置１００、脳波センサ装置２００、及びサーバー装置３００との間で実行される処理シーケンスを示す図である。具体的には、図５は、図２に示す「格闘ゲームＡ」のゲームアプリケーションを端末装置１００において起動しタイトル画面が表示されたときに行う操作入力の例であって、脳波センサ装置２００においてユーザの操作入力を行うという意思を検出し、その検出に基づいて生成された意思情報を脳波センサ装置２００が送信することによって開始される割り込み処理のシーケンスを示す。なお、図５は、図２のタイトル画面での操作入力をすることで行われるサーバー装置３００との情報の送受信の例を挙げた。しかし、これは単なる一例である。つまり、ユーザに知覚させる状況は、タイトル画面に限らず他の状況であってもよい。また、サーバー装置３００が関わらない処理を行ってもよいし、他のサーバー装置や他の端末装置が関わる処理を行ってもよい。

図５において、タイトル画面がディスプレイ１１１に表示されると、端末装置１００は、ディスプレイ１１１及びハードキー１１６を疑似入力インターフェイスとして設定する（Ｓ１１）。ディスプレイ１１１を通じてそれを知覚したユーザは、ディスプレイ１１１を接触又はハードキー１１６を押下するか否かの判断を行う。そして、ユーザは、その判断の結果、ディスプレイ１１１を接触（操作）してスタート画面に移行させるという意思決定を行う。この間、脳波センサ装置２００のプロセッサ２１３は、電極Ｅ１〜Ｅｎを有する脳波センサ２１１から出力される波形が有する特徴点を随時監視する（Ｓ１２）。プロセッサ２１３は、得られた特徴点を、その都度、図４Ａに示す操作特定テーブルを参照し、あらかじめサンプリングされたユーザの操作入力が有する特徴点との一致を判定する。一致がなかった場合には、プロセッサ２１３は再び波形の監視処理に戻る。

一方、特徴点の一致があった場合には、プロセッサ２１３は、一致した特徴点と対応付けられた操作内容情報を参照しユーザが操作入力しようとした内容を特定する。本実施形態においては、上記のとおり、タッチセンサ１１５のタッチという操作入力をする意思決定が行われているので、操作入力ＩＤ情報が「Ｏ１」の特徴点と一致する。したがって、プロセッサ２１３は、操作入力ＩＤ情報として「Ｏ１」を少なくとも含む意思情報を生成し、当該意思情報（Ｔ１１）を、外部通信インターフェイス２１４を介して端末装置１００に送信するよう制御する。

次に、端末装置１００は、図４Ｂに記憶された処理特定テーブルを参照して、意思情報として受信した操作入力ＩＤ情報にあらかじめ対応付けられた処理を開始する（Ｓ１３）。本実施形態においては、まず、端末装置１００は、サーバー装置３００へ、メモリ１１３に記憶されたユーザ情報（Ｔ１２）を送信する。そして、これを受信したサーバー装置３００は、ユーザの認証処理を行い（Ｓ１４）、「格闘ゲームＡ」のゲームアプリケーションの正当なユーザであると認証がされると、サーバー装置３００に記憶された当該ユーザのゲームデータ（Ｔ１３）を端末装置１００に送信する。

端末装置１００は、サーバー装置３００から送信されたゲームデータを順次受信する（Ｓ１５）。ゲームデータの受信が完了すると、端末装置１００は、受信したゲームデータや、メモリ１１３に記憶されたスタート画面の描画情報を利用して、ディスプレイ１１１にスタート画面を表示するための描画処理を開始する（Ｓ１６）。

ここで、本実施形態においては、当該処理の過程で、疑似入力インターフェイスとして機能するディスプレイ１１１又はハードキー１１６に対する実際の接触や押下操作の検出を必要としない。すなわち、実際のこれらの操作の有無にかかわらず、意思情報として受信した操作入力ＩＤ情報に基づいて、端末装置１００は、Ｓ１３〜Ｓ１６に係る処理を実行する。すなわち、仮に、操作するという意思の検出から遅れて、疑似入力インターフェイスとして機能するディスプレイ１１１又はハードキー１１６に対するユーザの実際の操作が終了したとしても、端末装置１００では実際の操作入力を検出する処理を行ったり（Ｓ１１１）、実際の操作入力をトリガーとして操作情報（Ｔ１１１）をサーバー装置３００に送信したりすることはない。

４．端末装置１００で実行される処理フロー
図６は、本開示の第１実施形態にかかる端末装置１００において実行される処理フローを示す図である。具体的には、当該処理フローは、脳波センサ装置２００から意思情報を受信することによって開始される割り込み処理に関する。

図６によると、プロセッサ１１２が、ディスプレイ１１１に、図２に示されたタイトル画面の表示を行うとともに、ディスプレイ１１１及びハードキー１１６を疑似入力インターフェイスとして設定することにより開始される（Ｓ１０１）。そして、プロセッサ１１２は、外部通信インターフェイス１１７を介して、脳波センサ装置２００から意思情報として操作入力ＩＤ情報を受信したか否かを判断する（Ｓ１０２）。そして、当該意思情報を受信すると、操作入力ＩＤ情報からユーザがこれから行おうとしている疑似的操作が、ディスプレイ１１１へのタッチであると特定する。そして、タイトル画面において疑似的なタッチ操作に対応付けられた処理を実行する。

具体的には、まず、プロセッサ１１２は、サーバー装置３００にメモリ１１３に記憶されたユーザ情報を送信するよう、外部通信インターフェイス１１７を制御する（Ｓ１０３）。そして、プロセッサ１１２は、サーバー装置３００においてユーザの認証が行われゲームアプリケーションの実行に必要なゲームデータの受信を開始するよう制御する（Ｓ１０４）。次に、プロセッサ１１２は、受信したゲームデータと、メモリ１１３に記憶された描画情報に基づいて、順次、次の画面（スタート画面）の描画を開始する（Ｓ１０５）。

ここで、本実施形態においては、当該処理の過程で、疑似入力インターフェイスとして機能するディスプレイ１１１又はハードキー１１６に対する実際の接触や押下操作の検出を必要としない。すなわち、実際のこれらの操作の有無にかかわらず、意思情報として受信した操作入力ＩＤ情報に基づいて、プロセッサ１１２はＳ１０３〜Ｓ１０５に係る処理を実行する。すなわち、仮に、操作するという意思の検出ののちに、疑似入力インターフェイスとして機能するディスプレイ１１１又はハードキー１１６に対するユーザの実際の操作が終了したとしても、端末装置１００では実際の操作入力を検出する処理（Ｓ２０１）を行ったり、実際の操作入力をトリガーとして操作情報をサーバー装置３００に送信する処理（Ｓ２０２）を行うことはない。

なお、疑似入力インターフェイスに対するユーザの疑似的な操作の意思が演出され、その操作内容が特定されると、特定された操作に応じたフィードバックをユーザに付与するようにしてもよい。具体的には、メモリ１１３に、特定された操作入力ＩＤごとに、付与するフィードバックを対応付けたフィードバックテーブルを記憶する。そして、プロセッサ１１２は、操作入力ＩＤ情報を受信することで操作内容が特定されると、当該テーブルを参照し、その特定された操作に応じたフィードバックを決定する。フィードバックの例としては、振動モータを利用したバイブレーションの駆動や、ＬＥＤの点灯、画面へのインジケータの表示などが挙げられる。

以上、本実施形態においては、脳波センサ装置２００によってユーザの操作に対する意思を検出することによって、端末装置１００における処理を実行させることができる。一方、端末装置１００は、疑似入力インターフェイスとして機能するディスプレイ１１１及びハードキー１１６を備えることで、処理の実行自体は脳波センサ装置２００で検出された意思に基づいて行われるものの、ユーザが実際に端末装置１００を操作しているかのような操作感を与えることが可能となる。

＜第２実施形態＞
第１実施形態では、タイトル画面において、ディスプレイ１１１の全体及びハードキー１１６が疑似入力インターフェイスとして機能する場合について説明した。つまり、脳波センサ装置２００によって、ディスプレイ１１１又はハードキー１１６に対するユーザの疑似的な操作をするという意思を検出し、その検出された意思に基づいて処理を実行する場合について説明した。第２実施形態においては、ディスプレイ１１１の全体を疑似入力インターフェイスとして機能させるのではなく、ディスプレイ１１１に表示された一部の領域のみを疑似入力インターフェイスとして機能させる場合について説明する。なお、本実施形態は、以下で具体的に説明する点を除いて、第１実施形態における構成、処理、手順と同様である。したがって、それらの事項の詳細な説明は省略する。

図７は、本開示の第２実施形態に係るシステムにおける処理を概念的に示す図である。図２によると、ディスプレイ１１１の少なくとも一部の領域には、１又は複数のアイコン（アイコン２１及び２２）が表示されている。本実施形態においては、当該アイコン２１及び２２が表示された領域を疑似入力インターフェイスとして機能させ、例えば「格闘ゲームＡ」と表示された他の領域は疑似入力インターフェイスとして機能させず、単なる表示エリアとして機能させる。

まず、ユーザ１１に取り付けた脳波センサ装置２００で、疑似入力インターフェイスとして機能するアイコン２１及びアイコン２２のいずれかに対して、指示体１２でタッチするというユーザの意思の検出を行う。そして、その検出がなされると、検出されたユーザの意思に応じて、それに対応付けられた処理の実行を行う。例えば、スタートアイコン２１に対してタッチ（いわゆる短押し）をするというユーザの意思が検出された場合には、当該意思情報から特定されたスタート画面の表示に係る処理を端末装置１００は実行する。このとき、処理の実行は検出されたユーザ１１の意思に基づいて行われており、実際にユーザ１１の指示体１２でアイコン２１に対して接触することは必要としていない。つまり、アイコン２１及び２２への操作の有無にかかわらず、検出された意思に対応する処理を実行する。

図８Ａは、本開示の第２実施形態に係る脳波センサ装置２００のメモリ２１２に記憶される操作特定テーブルを概念的に示す図である。具体的には、当該テーブルは、あらかじめサンプリングされたユーザが各操作入力を疑似的に行う時の脳波信号の特徴点を記憶し、ユーザがどのような疑似的な操作を行おうとしていたのかの判定に用いられる。図８Ａによると、各操作入力ＩＤ情報に対応付けて、特徴点情報と、操作内容情報とが記憶されている。特徴点情報は、あらかじめユーザが各操作を疑似入力インターフェイスとして機能する各アイコンに対して行おうと意図したときの脳波をサンプリングし、そこから得られた波形から特定された特徴的なピークに関する情報である。操作内容情報は、各特徴点情報が得られたときにユーザが行っていた疑似的な操作の内容を示す情報であって、どのアイコンに対してどのような操作をしていたかが特定される。本実施形態においては、例えば脳波センサ２１１において検出された脳波の波形が有する特徴点と、図８Ａの操作特定テーブルに記憶された各特徴点とを比較し、「Ｓ１」の特徴点情報と一致した場合には、疑似的な操作内容情報として「アイコン２１に対するタッチ（短押し）」が特定される。そして、脳波センサ装置２００からは、「タッチ」入力に対応する操作入力ＩＤ情報「Ｑ１」が意思情報として端末装置１００に出力される。

図８Ｂは、本開示の第２実施形態に係る端末装置１００のメモリ１１３に記憶される処理特定テーブルを概念的に示す図である。具体的には、当該テーブルは、意思情報として脳波センサ装置２００から受信した操作入力ＩＤ情報と、それによって特定される処理内容とを対応付けて記憶する。図８Ｂによると、各処理ＩＤ情報に対応付けて、操作入力ＩＤ情報と処理内容とが記憶されている。操作入力ＩＤ情報は、脳波センサ装置２００で特定されたユーザが入力しようとした疑似的な操作を特定した情報である。処理内容情報は、ユーザが疑似入力インターフェイスに対して行った所定の疑似操作に基づいてプロセッサ１１２によって実行される処理内容を示す情報である。本実施形態においては、例えば脳波センサ装置２００から操作入力ＩＤ情報「Ｑ１」を受信すると、プロセッサ１１２は、当該処理特定テーブルを参照して、操作入力ＩＤ情報「Ｑ１」に対応付けられた処理内容情報（「スタート画面の表示」）を判定し、スタート画面を表示するための処理（サーバー装置３００との通信、描画処理など）を実行する。

なお、本実施形態においては、端末装置１００、脳波センサ装置２００、及びサーバー装置３００との間で行われる処理シーケンスや、端末装置１００のプロセッサ１１２が行う処理フローについて図示していない。しかし、第１実施形態と同様に、脳波センサ装置２００によってユーザのアイコン２１及び２２に対する操作の意思を検出することで、所定の処理を実行する。一方、疑似入力インターフェイスとして機能するアイコン２１及び２２に対するユーザの実際の操作がなされたとしても、端末装置１００では、この実際の操作入力を検出する処理を行ったり、スタート画面の表示のために実際の操作入力をトリガーとすることはない。

以上、本実施形態においては、脳波センサ装置２００によってユーザの操作に対する意思を検出することによって、端末装置１００における処理を実行させることができる。一方、端末装置１００は、疑似入力インターフェイスとして機能するアイコン２１及び２２を表示することで、処理の実行自体は脳波センサ装置２００で検出された意思に基づいて行われるものの、ユーザが実際に端末装置１００を操作しているかのような操作感を与えることが可能となる。

＜第３実施形態＞
第１実施形態では、タイトル画面において、ディスプレイ１１１の全体及びハードキー１１６が疑似入力インターフェイスとして機能する場合について説明した。また、第２実施形態では、タイトル画面において、ディスプレイの少なくとも一部の領域、具体的にはアイコン２１及び２２が疑似入力インターフェイスとして機能する場合について説明した。第３実施形態においては、ディスプレイ１１１やディスプレイ１１１に表示されたアイコン２１及び２２を疑似入力インターフェイスとして機能させるのではなく、端末装置１００の筐体上に固定的に設けられたハードキー２４及び２５を疑似入力インターフェイスとして機能させる場合について説明する。なお、本実施形態は、以下で具体的に説明する点を除いて、第１実施形態における構成、処理、手順と同様である。したがって、それらの事項の詳細な説明は省略する。

図９は、本開示の第３実施形態に係るシステムにおける処理を概念的に示す図である。図９によると、端末装置１００は、筐体の表面上に固定的に設けられた方向キーや決定キーを含むハードキー２４、１〜０の数字に対応して設けられるテンキーを含むハードキー２５を備える。本実施形態においては、これらハードキー２４及び２５を疑似入力インターフェイスとして機能させる。図９の例では、ディスプレイ１１１に表示された文字入力アプリケーションの画面において、ユーザが文字（数字等）の入力を行う場合について説明する。具体的には、ディスプレイ１１１には、これまでに入力された文字（「Ａ」〜「Ｇ」）とともに、次に文字が入力される位置を示すカーソル（「Ｇ」の右隣）が示されている。

まず、ユーザ１１に取り付けた脳波センサ装置２００で、疑似入力インターフェイスとして機能するハードキー２４及び２５のうちのいずれかのキーに対して、指示体１２で押下するというユーザの意思の検出を行う。そして、その検出がなされると、検出されたユーザの意思に応じて、それに対応付けられた処理の実行を行う。例えば、ハードキー２４のうちの左キーを押下するというユーザの意思が検出された場合には、当該意思情報から特定された処理を端末装置１００は実行する。このとき、処理の実行は検出されたユーザ１１の意思に基づいて行われており、実際にユーザ１１の指示体１２でハードキー２４を押下することは必要としていない。つまり、ハードキー２４又は２５への操作の有無にかかわらず、検出された意思に対応する処理を実行する。

図１０Ａは、本開示の第３実施形態に係る脳波センサ装置２００のメモリ２１２に記憶される操作特定テーブルを概念的に示す図である。具体的には、当該テーブルは、あらかじめサンプリングされたユーザが各操作入力を疑似的に行う時の脳波信号の特徴点を記憶し、ユーザがどのような疑似的な操作を行おうとしていたのかの判定に用いられる。図１０Ａによると、各操作入力ＩＤ情報に対応付けて、特徴点情報と、操作内容情報とが記憶されている。特徴点情報は、あらかじめユーザが疑似入力インターフェイスとして機能するハードキー２４及び２５のうちのいずれかに対して押下を行おうと意図したときの脳波をサンプリングし、そこから得られた波形から特定された特徴的なピークに関する情報である。操作内容情報は、各特徴点情報が得られたときにユーザが行っていた疑似的な操作の内容を示す情報であって、どのハードキーに対して操作を行おうとしていたかが特定される。本実施形態においては、例えば脳波センサ２１１において検出された脳波の波形が有する特徴点と、図１０Ａの操作特定テーブルに記憶された各特徴点とを比較し、「Ｕ１」の特徴点情報と一致した場合には、疑似的な操作内容情報として「上キーの操作」が特定される。そして、脳波センサ装置２００からは、「上キーの操作」に対応する操作入力ＩＤ情報「Ｒ１」が意思情報として端末装置１００に出力される。

図１０Ｂは、本開示の第３実施形態に係る端末装置１００のメモリ１１３に記憶される処理特定テーブルを概念的に示す図である。具体的には、当該テーブルは、意思情報として脳波センサ装置２００から受信した操作入力ＩＤ情報と、それによって特定される処理内容とを対応付けて記憶する。図１０Ｂによると、各処理ＩＤ情報に対応付けて、操作入力ＩＤ情報と処理内容とが記憶されている。操作入力ＩＤ情報は、脳波センサ装置２００で特定されたユーザが入力しようとした疑似的な操作を特定した情報である。処理内容情報は、ユーザが疑似入力インターフェイスに対して行った所定の疑似操作に基づいてプロセッサ１１２によって実行される処理内容を示す情報である。本実施形態においては、例えば脳波センサ装置２００から操作入力ＩＤ情報「Ｒ１」を受信すると、プロセッサ１１２は、当該処理特定テーブルを参照して、操作入力ＩＤ情報「Ｒ１」に対応付けられた処理内容情報（「カーソルの上への移動」）を判定し、ディスプレイ１１１の表示されたカーソルを上方向へ移動して表示させる処理を実行する。

なお、本実施形態においては、端末装置１００、脳波センサ装置２００、及びサーバー装置３００との間で行われる処理シーケンスや、端末装置１００のプロセッサ１１２が行う処理フローについて図示していない。しかし、第１及び第２実施形態と同様に、脳波センサ装置２００によってユーザのハードキー２４及び２５のうちのいずれかに対する操作の意思を検出することで、所定の処理を実行する。一方、疑似入力インターフェイスとして機能するハードキー２４及び２５に対するユーザの実際の操作がなされたとしても、端末装置１００では、この実際の操作入力を検出する処理を行ったり、スタート画面の表示のために実際の操作入力をトリガーとすることはない。

以上、本実施形態においては、脳波センサ装置２００によってユーザの操作に対する意思を検出することによって、端末装置１００における処理を実行させることができる。一方、端末装置１００は、疑似入力インターフェイスとして機能するハードキー２４及び２５を設けることで、処理の実行自体は脳波センサ装置２００で検出された意思に基づいて行われるものの、ユーザが実際に端末装置１００を操作しているかのような操作感を与えることが可能となる。特に、ハードキーの場合、キーのクリック感をユーザが直接的に感じることが可能となり、より高い操作感を得ることができる。

＜第４実施形態＞
第１〜第３実施形態では、脳波センサ装置２００において、ユーザの脳波を検出し、あらかじめサンプリングされたユーザの脳波と検出された脳波とを比較して、ユーザの意思情報を特定する場合について説明した。第４実施形態においては、電極Ｅ１〜Ｅｎによって検出されたユーザの脳波についてＡ／Ｄ変換等の処理を行った信号を端末装置１００に送信し、端末装置１００のプロセッサ１１２においてユーザの意思情報を特定する。なお、本実施形態は、以下で具体的に説明する点を除いて、第１〜第３実施形態における構成、処理、手順と同様である。したがって、それらの事項の詳細な説明は省略する。

本実施形態においては、上記のとおり、端末装置１００のプロセッサ１１２においてユーザの意思情報を特定するため、図４Ａ、図８Ａ、及び図１０Ａに示す操作特定テーブルは端末装置１００のメモリ１１３に記憶される。そして、図５のＳ１２及びＳ１３の間に、第１〜第３実施形態では意思情報（Ｔ１１）の受信がなされるが、本実施形態においては、脳波センサ２１１によって検出された脳波信号を受信する。そして、脳波信号を受信すると、プロセッサ１１２は、メモリ１１３に記憶された操作特定テーブルを参照して、ユーザの意思情報を特定する。そして、特定されたユーザの意思情報に基づいて、第１〜第３実施形態と同様に、当該意思情報に基づく処理を行う。以降の処理は、第１〜第３実施形態と同様である。

以上、本実施形態においては、脳波センサ装置２００によってユーザの操作に対する意思を検出することによって、端末装置１００における処理を実行させることができる。一方、端末装置１００は、疑似入力インターフェイスとして機能するハードキー２４及び２５を設けることで、処理の実行自体は脳波センサ装置２００で検出された意思に基づいて行われるものの、ユーザが実際に端末装置１００を操作しているかのような操作感を与えることが可能となる。

＜その他＞
第１〜第４実施形態においては、脳波センサ装置２００を用いる場合について説明した。しかし、本開示においては、ユーザの意思情報が検出されれば良いので、脳波に限らず様々な信号を用いて実施することが可能である。一例としては、ユーザの意思を脳から筋肉に伝達し、筋肉が動くときに検出される電気信号が検出可能なセンサ装置を利用することも可能である。

なお、各実施形態で説明した各要素を適宜組み合わせるか、それらを置き換えてシステムを構成することも可能である。

本明細書で説明される処理及び手順は、実施形態において明示的に説明されたものによってのみならず、ソフトウェア、ハードウェア又はこれらの組み合わせによっても実現可能である。具体的には、本明細書で説明された処理及び手順は、集積回路、揮発性メモリ、不揮発性メモリ、磁気ディスク、光ストレージ等の媒体に、当該処理に相当するロジックを実装することによって実現される。また、本明細書で説明される処理及び手順は、それらの処理・手順をコンピュータプログラムとして実装し、端末装置やサーバー装置を含む各種のコンピュータに実行させることが可能である。

本明細書中で説明される処理及び手順が単一の装置、ソフトウェア、コンポーネント、モジュールによって実行される旨が説明されたとしても、そのような処理又は手順は、複数の装置、複数のソフトウェア、複数のコンポーネント、及び／又は、複数のモジュールによって実行可能である。また、本明細書中で説明される各種情報が単一のメモリや記憶部に格納される旨が説明されたとしても、そのような情報は、単一の装置に備えられた複数のメモリ又は複数の装置に分散して配置された複数のメモリに分散して格納可能である。さらに、本明細書において説明されるソフトウェアおよびハードウェアの要素は、それらをより少ない構成要素に統合して、又は、より多い構成要素に分解することによって実現可能である。

１００ 端末装置
２００ 脳波センサ装置
３００ サーバー装置

Claims (12)

1. ユーザによる疑似的な操作が可能に構成された疑似入力インターフェイスと、
   有線又は無線により接続され、かつ前記疑似入力インターフェイスに対する操作を行う前記ユーザの意思を検出可能なセンサ装置から、前記センサ装置で検出されたユーザの意思を示す意思情報を受信する外部通信インターフェイスと、
   所定の指示命令を記憶するように構成されたメモリと、
   前記指示命令に基づいて、前記疑似入力インターフェイスに対して前記ユーザが実際に行う操作に関わらず、前記外部通信インターフェイスが受信した前記意思情報から前記ユーザの操作を特定し、特定された前記操作に対応する処理を実行するように構成されたプロセッサと、
   を含む端末装置。
2. 前記端末装置は所定の表示をするように構成されたディスプレイを含み、
   前記ユーザによる疑似的な操作は前記ディスプレイに対する操作である、
   請求項１に記載の端末装置。
3. 前記端末装置は所定の表示をするように構成されたディスプレイを含み、
   前記疑似入力インターフェイスは、前記ディスプレイに表示されたアイコンである、
   請求項１に記載の端末装置。
4. 前記疑似入力インターフェイスは、前記端末装置の筐体に固定的に設けられた操作キーである、請求項１に記載の端末装置。
5. 前記外部通信インターフェイスは、遠隔に設置されたサーバー装置との間で所定の情報の送受信を行い、
   前記処理は、前記サーバー装置との間で前記所定の情報の送受信を行う処理である、
   請求項１〜４のいずれか一項に記載の端末装置。
6. 前記プロセッサは、前記疑似入力インターフェイスに対して前記ユーザが実際に操作を行ったとしても、前記ユーザが実際に行った操作の検出を行うことなく、前記処理を実行する、請求項１〜５のいずれか一項に記載の端末装置。
7. 前記センサ装置は、前記ユーザの脳波を検出するための一又は複数の電極を含む、請求項１〜６のいずれか一項に記載の端末装置。
8. 前記端末装置は、前記ユーザの操作が特定されると、特定された前記操作に応じたフィードバックを前記ユーザに付与する、請求項１〜７のいずれか一項に記載の端末装置。
9. ユーザによる疑似的な操作が可能に構成された疑似入力インターフェイスと、有線又は無線により接続され、かつ前記疑似入力インターフェイスに対する操作を行う前記ユーザの意思を検出可能なセンサ装置から、前記センサ装置で検出されたユーザの意思を示す意思情報を受信する外部通信インターフェイスと、所定の指示命令を記憶するように構成されたメモリと、を含むコンピュータを、
   前記指示命令に基づいて、前記疑似入力インターフェイスに対して前記ユーザが実際に行う操作に関わらず、前記外部通信インターフェイスが受信した前記意思情報から前記ユーザの操作を特定し、特定された前記操作に対応する処理を実行するように構成されたプロセッサ、
   として機能させるプログラム。
10. ユーザによる疑似的な操作が可能に構成された疑似入力インターフェイスと、有線又は無線により接続され、かつ前記疑似入力インターフェイスに対する操作を行う前記ユーザの意思を検出可能なセンサ装置から、前記センサ装置で検出されたユーザの意思を示す意思情報を受信する外部通信インターフェイスと、所定の指示命令を記憶するように構成されたメモリと、を含むコンピュータにおいて、プロセッサが前記指示命令を実行することによりなされる方法であって、
    前記疑似入力インターフェイスに対して前記ユーザが実際に行う操作に関わらず、前記外部通信インターフェイスが受信した前記意思情報から前記ユーザの操作を特定する段階と、
    特定された前記操作に対応する処理を実行する段階と、
    を含む方法。
11. 請求項１〜８のいずれか一項に記載の端末装置と、
    前記端末装置に有線又は無線により接続され、かつ前記端末装置の入力インターフェイスに一又は複数の操作入力をするユーザの意思を検出可能なセンサ装置と、
    を含む、システム。
12. ユーザによる疑似的な操作が可能に構成された疑似入力インターフェイスと、
    有線又は無線により接続され、かつ前記疑似入力インターフェイスに対する操作を行う前記ユーザの意思を示す信号を受信する外部通信インターフェイスと、
    所定の指示命令を記憶するとともに、前記信号と前記ユーザの意思との対応関係を記憶するメモリと、
    前記指示命令に基づいて、前記疑似入力インターフェイスに対して前記ユーザが実際に行う操作に関わらず、受信した前記信号と前記メモリに記憶された前記対応関係とから前記ユーザの意思情報を生成し、生成された前記意思情報から前記ユーザの操作を特定し、特定された前記操作に対応する処理を実行するように構成されたプロセッサと、
    を含む端末装置。

Images