JP5526298B1 - 電子機器、情報処理装置、情報処理方法およびプログラム - Google Patents

Abstract

コントローラを逆持ちにしても正しく持ったときと同一の操作感を提供する。
本開示の一態様に係る電子機器は、ユーザが右手及び左手で把持する筐体で構成され、複数の操作部を有する。電子機器は、筐体を把持するユーザの右手及び左手に接触する位置に設置された第１の電極及び第２の電極と、第１の電極および第２の電極の電位差から、ユーザの心電成分を抽出する抽出部と、予め保持する心電成分の電位に関する基準を参照して、抽出部によって抽出された心電成分が正方向であるか負方向であるかを判定する判定部と、判定部による判定の結果に応じて、複数の操作部の各々と、各操作によって生成される各操作信号との割り当てを変更する変更部であって、判定結果が正方向の場合、複数の操作部の各々と各操作信号とを第１の関係で割り当て、判定結果が負方向の場合、第１の関係と異なる、複数の操作部の各々と各操作信号とを第２の関係で割り当てる変更部とを備える。

Description

本開示は、電子機器、情報処理システムに関する。より具体的には、本開示は電子機器および情報処理装置の操作手段に生体電位を計測する手段を併せ持ったコントローラを備えた情報処理システムであって、ユーザが情報処理装置を操作するときにユーザの生体電位信号も同時に計測できるシステム、方法およびプログラムに関する。

近年、テレビやパソコン、ゲーム機やスマートフォン等に代表される情報処理システムにおいて、簡便な操作がますます求められている。その操作手段としてコントローラが考えられる。テレビ等のディスプレイデバイスに相対して、ユーザは無線や有線のコントローラを持ち、コントローラの操作によって情報処理システムで実行されるアプリケーションを使うことができる。例えば、ゲーム機等では、両手でコントローラを持ち、両方の手に割り当てられた操作ボタンを両方の手で操作することによって、ゲームが進められる。また、本開示で想定するように生体電位計測手段を備えていれば、心電図等が計測可能になり、健康状態のモニタリングや、ゲーム中の心理状態の推定等が可能になる。

しかしながら、両手を用いて操作ボタンを操る操作手法は、様々なことができる一方、複雑で正確なタイミングに基づいた操作が必要なため、右利きや左利き等の利き手の影響が考えられる。コントローラを両手で持つ場合、右利きが前提となっており、上下左右に動かすような操作では、左利きの人には使いにくい機器になっている課題があった。また、ユーザビリティの観点からも、持ち方がわかりにくい場合には、コントローラを逆向きに持つ場合も考えられ、この場合には、逆向きに持っても操作可能にするか、逆向きの場合には持ち方が違っていることをユーザに伝える必要があった。

このようにコントローラを両手で持つ場合には、持ち方が複数通り考えられ、どのように持つかが検出されれば、操作性の向上につなげられる。

従来の生体電位計測手段については、電位計測の電極が正確に装着されることが必要とされており、その正確な装着を判定する方法が提案されてきた。例えば特許文献１や特許文献２においては、計測された生体電位の波形や振幅から誤装着を知らせる技術が公開されている。

特開２００２−２３３５１３号公報 特開２００９−２６１７２３号公報

本開示は、上記のコントローラの持ち方を生体電位信号によって検出する手段を提供する。生体電位信号を計測できる機能を備えた電子機器において、計測された生体電位信号を分析することで、持ち方を検出し、その持ち方に応じた操作方法を提供できる電子機器を提供することを目的とする。

本開示による電子機器は、ユーザが右手及び左手で把持する筐体で構成され、複数の操作部を有する電子機器であって、前記筐体を把持する前記ユーザの右手及び左手に接触する位置に設置されている第１の電極及び第２の電極と、前記第１の電極および前記第２の電極の電位差から、前記ユーザの心電成分を抽出する抽出部と、予め保持する心電成分の電位に関する基準を参照して、前記抽出部によって抽出された前記心電成分が正方向であるか負方向であるかを判定する判定部と、前記判定部による判定の結果に応じて、前記複数の操作部の各々と、各操作によって生成される各操作信号との割り当てを変更する変更部であって、前記判定結果が正方向の場合、前記複数の操作部の各々と各操作信号とを第１の関係で割り当て、前記判定結果が負方向の場合、前記第１の関係と異なる、前記複数の操作部の各々と各操作信号とを第２の関係で割り当てる変更部とを備えている。

本発明の一態様にかかる電子機器は、ユーザがコントローラを自分の使いやすいように持った場合でも、生体電位信号の分析によって持ち方を検出し、持ち方に応じた操作方法が提供できるため、ユーザの操作性を向上できる。

情報処理システム１００の利用シーンを示す図である。 （ａ）および（ｂ）は、コントローラ形状の例と面の呼び方を示す図である。 （ａ）および（ｂ）は、電極が裏面に設置された場合の電極位置の例を示す図である。 （ａ）および（ｂ）は、電極が上側面に設置された場合の電極位置の例を示す図である。 （ａ）から（ｄ）は、電極形状と個数の例を示す図である。 （ａ）から（ｃ）は、その他の電極形状の例を示す図である。 情報処理システム１００のシステム構成を示す図である。 情報処理システム１００のコントローラ１及び情報処理装置２の構成を示す図である。 コントローラのハードウェア構成を示す図である。 情報処理システム１００の情報処理装置２のハードウェア構成を示す図である。 情報処理システム１００の基本的な処理のフローチャートを示す図である。 実施の形態１における生体信号処理部２３の構成を示す図である。 生体信号処理部２３を中心とした持ち方判定のフローチャートを示す図である。 （ａ）から（ｃ）は、順持ちとそれに対応した生体電位信号の例を示す図であり、（ｄ）から（ｆ）は、逆持ちとそれに対応した生体電位信号の例を示す図である。 （ａ）から（ｃ）は、持ち方に対応した操作ボタンと制御信号の割り当て例を示す図である。 （ａ）から（ｆ）は、その他のボタン割り当ての例を示す図である。 パッド型コントローラの縦持ちの事例を示す図である。 図１７Ａに示すパッド型コントローラ１の裏面４６を示す。 タブレット型コントローラ１の横持ちの事例を示す図である。 図１７Ｃに示すタブレット型コントローラ１の裏面４６を示す。 タブレット型コントローラ１の縦持ちの事例を示す図である。 図１７Ｅに示すタブレット型コントローラ１の裏面４６を示す。 実施の形態２における生体電位増幅部と生体信号処理部の構成を示す図である。 コントローラの把持タイミングと持ち方判定処理のフローチャートを示す図である。 （ａ）および（ｂ）は、コントローラの把持以降の生体電位信号の変化を示す図である。 把持の状況と持ち方に対応した操作ボタンと制御信号の割り当てを示す図である。 右利き専用アプリケーションの場合の割り当て例を示す図である。 （ａ）、（ｂ−１）および（ｂ−２）は、レースゲームのコントローラの割り当て例を示す図である。 （ａ）および（ｂ）は、表示部付きコントローラにおける画像の反転示す図である。 図８の構成の変形例を示す図である。 アタッチメント２５０、およびスマートフォン２５１を組み合わせたコントローラ１の例を示す図である。 実施の形態１または２による情報処理システムの変形例である情報処理システム２００の構成を示す。

本発明の基礎となった知見は以下のとおりである。

従来の技術は、必ずしもユーザが扱いやすいとは言えなかった。その理由は、電位計測の電極が正確に装着されることが必要とされていたためである。

本発明の一態様の概要は以下のとおりである。

本発明の一態様である電子機器は、ユーザが右手及び左手で把持する筐体で構成され、複数の操作部を有する電子機器であって、前記筐体を把持する前記ユーザの右手及び左手に接触する位置に設置されている第１の電極及び第２の電極と、前記第１の電極および前記第２の電極の電位差から、前記ユーザの心電成分を抽出する抽出部と、予め保持する心電成分の電位に関する基準を参照して、前記抽出部によって抽出された前記心電成分が正方向であるか負方向であるかを判定する判定部と、前記判定部による判定の結果に応じて、前記複数の操作部の各々と、各操作によって生成される各操作信号との割り当てを変更する変更部であって、前記判定結果が正方向の場合、前記複数の操作部の各々と各操作信号とを第１の関係で割り当て、前記判定結果が負方向の場合、前記第１の関係と異なる、前記複数の操作部の各々と各操作信号とを第２の関係で割り当てる変更部とを備えている。

ある実施形態において、前記抽出部は、前記心電成分としてＲ波を抽出する。ある実施形態において、前記判定部は、前記心電成分としてさらにＱ波を抽出し、ＱＲ成分の変化の方向によって、正方向であるか負方向であるかを判定する。

ある実施形態において、前記抽出部は、前記心電成分としてＴ波を抽出し、前記判定部は、前記Ｔ波が上向きのピークを持つか、下向きのピークを持つかによって、正方向であるか負方向であるかを判定する。

ある実施形態において、前記カーソルの移動方向指示ボタンを含み、前記変更部は、前記移動方向指示ボタンの各方向と各操作信号との割り当てを変更する。

ある実施形態において、前記移動方向指示ボタンは、上下左右の４方向にカーソルを移動させることが可能なボタンであり、前記変更部は、前記第１の関係にしたがって、上方向の操作に第１操作信号を割り当て、下方向の操作に第２操作信号を割り当て、前記第２の関係にしたがって、前記上方向の操作に前記第２操作信号を割り当て、前記下方向の操作に前記第１操作信号を割り当てる。

ある実施形態において、前記移動方向指示ボタンは、上下左右の４方向にカーソルを移動させることが可能なボタンであり、前記変更部は、前記第１の関係にしたがって、左方向の操作に第３操作信号を割り当て、右方向の操作に第４操作信号を割り当て、前記第２の関係にしたがって、前記左方向の操作に前記第４操作信号を割り当て、前記右方向の操作に前記第３操作信号を割り当てる。

ある実施形態において、前記第１の電極、および、前記第２の電極の電位差が所定以上になったことを検出したタイミングを、前記ユーザが前記筐体を両手で把持したタイミングであるとして検出する把持検出部をさらに備えている。

ある実施形態において、前記抽出部および前記判定部は、前記タイミングから、各々の処理を開始する。

ある実施形態において、前記判定部による処理の開始後、前記判定の結果が得られるまでの間、前記変更部は、前記複数の操作部の各々と各操作信号とを予め定められた関係を有する割り当てに変更し、前記判定の結果が得られた後は、前記複数の操作部の各々と各操作信号とを前記判定の結果に応じた関係を有する割り当てに変更する。

ある実施形態において、前記変更部は、現在実行されているアプリケーションソフトウェアの情報を受信して、割り当て内容を変更する。

ある実施形態において、前記複数の操作部のいずれかの操作に基づく操作信号を、外部の情報処理装置に出力する操作信号出力部をさらに備えている。

本発明の一態様である情報処理装置は、複数の操作部を有する電子機器からの操作信号を受信する操作信号取得部と、前記電子機器から送信された前記ユーザの生体信号を取得する生体信号取得部であって、前記生体信号は、前記電子機器の筐体を把持する前記ユーザの右手及び左手に接触する位置に設置されている第１の電極及び第２の電極の電位差から得られる信号である、生体信号取得部と、取得した前記生体信号から、前記ユーザの心電成分を抽出する抽出部と、予め保持する心電成分の電位に関する基準を参照して、抽出された前記心電成分が正方向であるか負方向であるかを判定する判定部と、前記判定部による判定の結果に応じて、前記複数の操作部の各々と、各操作によって生成される各操作信号との割り当てを変更する変更部であって、前記判定結果が正方向の場合、前記複数の操作部の各々と各操作信号とを第１の関係で割り当て、前記判定結果が負方向の場合、前記第１の関係と異なる、前記複数の操作部の各々と各操作信号とを第２の関係で割り当てる変更部とを備えている。

本発明の一態様である情報処理方法は、電子機器を用いた情報処理方法であって、前記電子機器は、ユーザが右手及び左手で把持する筐体で構成され、複数の操作部、および前記筐体を把持する前記ユーザの右手及び左手に接触する位置に設置されている第１の電極及び第２の電極を備えており、前記第１の電極および前記第２の電極の電位差から、前記ユーザの心電成分を抽出するステップと、予め保持する心電成分の電位に関する基準を参照して、抽出する前記ステップによって抽出された前記心電成分が正方向であるか負方向であるかを判定するステップと、判定する前記ステップによる判定の結果に応じて、前記複数の操作部の各々と、各操作によって生成される各操作信号との割り当てを変更するステップであって、前記判定結果が正方向の場合、前記複数の操作部の各々と各操作信号とを第１の関係で割り当て、前記判定結果が負方向の場合、前記第１の関係と異なる、前記複数の操作部の各々と各操作信号とを第２の関係で割り当てるステップとを包含する。

本発明の一態様であるコンピュータプログラムは、電子機器に設けられたコンピュータによって実行されるコンピュータプログラムであって、前記電子機器は、ユーザが右手及び左手で把持する筐体で構成され、複数の操作部、および前記筐体を把持する前記ユーザの右手及び左手に接触する位置に設置されている第１の電極及び第２の電極を備えており、前記コンピュータプログラムは、前記コンピュータに対し、前記第１の電極および前記第２の電極の電位差から、前記ユーザの心電成分を抽出するステップと、予め保持する心電成分の電位に関する基準を参照して、抽出する前記ステップによって抽出された前記心電成分が正方向であるか負方向であるかを判定するステップと、判定する前記ステップによる判定の結果に応じて、前記複数の操作部の各々と、各操作によって生成される各操作信号との割り当てを変更するステップであって、前記判定結果が正方向の場合、前記複数の操作部の各々と各操作信号とを第１の関係で割り当て、前記判定結果が負方向の場合、前記第１の関係と異なる、前記複数の操作部の各々と各操作信号とを第２の関係で割り当てるステップとを実行させる。

以下、添付の図面を参照しながら、本開示の一態様による「情報処理システム」の各実施の形態を説明する。

（情報処理装置を含むシステムの説明）
図１は、情報処理システム１００の利用シーンを示す。図１に示す情報処理システム１００は、コントローラ１と、情報処理装置２と、表示装置３とを備える。コントローラ１、情報処理装置２、及び表示装置３は、それぞれ有線又は無線で接続されており、情報を送受信する。

コントローラ１は、ユーザが情報処理装置を操作するための操作情報を入力する入力手段を備え、所望の処理を実現するための操作が入力される。

情報処理装置２は、コントローラ１からの操作入力を受け取り、所定の処理を実施する。
本明細書において、「所定の処理」とは、ゲーム、健康管理、学習等、家庭用のコンピュータで実施されるようなアプリケーションの総称である。

表示装置３は、情報処理装置２でされた処理結果を表示する。表示装置は、画像情報を表示、又は音響情報を表示する。

（コントローラの形状）
図２（ａ）及び図２（ｂ）はコントローラ１の形状の一例を示す。例えば、ユーザは両手でコントローラ１を持って、操作する。コントローラ１の概観の例は、図２（ａ）に示すスティック型、及び図２（ｂ）に示すパッド型である。

図２（ａ）に示すスティック型コントローラ１は、横長棒状のスティック型をしている。ユーザは、その両端を持ち、左手親指で操作ボタン４１を、右手親指で操作ボタン４２を操作する。操作ボタン４１は、上下左右の方向の入力が可能なタイプ、操作ボタン４２は２つの制御が行えるような２つのボタンから構成されている例である。

図２（ｂ）に示すパッド型コントローラ１は、板状のパッド型の形状をしている。ユーザはその両側を持ち、左手親指で操作ボタン４１を、右手親指で操作ボタン４２を操作する。パッドの中央部には、表示部４７を備え、操作の状態や、アプリケーションの処理結果を表示することができる。

なお、後述するように、タブレット型コントローラ（図１７Ｂ）、スマートフォンをアタッチメントに組み込んだコントローラ（図２６）、スマートフォンと電極とを組み合わせたコントローラ（図２６の変形例）などの、さらに多様なコントローラ１も考えられる。そのようなコントローラ１を包括的に、本願明細書では「電子機器」と呼ぶ。

（面の定義）
図２を用いて、本願明細書で用いる面の呼称を定義する。

コントローラ１は、操作面４３と、左側面（図示せず）と、右側面４４、上側面４５、下側面（図示せず）と、裏面４６とを有する。

図２（ａ）及び図２（ｂ）に示す操作面４３は、操作ボタン４１及び操作ボタン４２が設置されている面である。

操作面４３に向かって上下左右の側面のそれぞれが、左側面（図示せず）、右側面４４、上側面４５、下側面（図示せず）である。操作面４３の反対側の面が、裏面４６である。

スティック型コントローラ１、パッド型コントローラ１においても、操作面が同様に定義され得る。

なお、表示部４７に操作ボタン４１及び４２が表示される場合は、コントローラの表示部４７を有する面を操作面４３とする。または、表示部４７の情報を表示する画面のみを操作面４３としても良い。なお、表示部４７に操作ボタンを表示する場合には、表示部４７にはタッチスクリーンパネルも設けられている。ユーザが操作ボタンの位置に触れた時に、その位置をタッチスクリーンパネルによって検出することにより、ソフトウェアによって表示された操作ボタンが、ハードウェアの操作ボタンと同等に機能することになる。

操作面４３と、左側面（図示せず）と、右側面４４、上側面４５、下側面（図示せず）と、裏面４６とが１つの面で形成されている場合には、左側面（図示せず）と、右側面４４、上側面４５、下側面（図示せず）と、裏面４６とは、操作面４３との位置関係で規定される部分を意味する。

なお、操作面４３がタッチパネルで構成されている場合には、操作ボタン４１及び４２は、タッチパネルに表示される操作入力表示を含む。一般には「ボタン」とは、指で押す電気スイッチの突起した部分をいうとされる。しかしながら本明細書では、「操作ボタン」は、ユーザが操作するハードウェアおよび／またはタッチパネルに表示される操作入力表示を全て含む。たとえば、操作ボタン４１及び４２は、デジタルジョイスティックまたはアナログジョイスティックであってもよいし、タッチパッドであってもよい。本明細書では、これらを包括する操作ボタンを、「操作部」とも表記する。

（電極位置）
次に、コントローラ１に設置される生体信号計測用電極の位置について説明する。

図３（ａ）および（ｂ）は、コントローラ１の裏面４６に、生体信号計測用電極を設置した例を示す。

コントローラ１には、生体信号を計測するために、少なくとも複数の電極が設置されている。本実施の形態においては、生体信号は、ユーザとコントローラとが接触する複数の位置の間の電位差として検出される。生体信号の一例は、右手のいずれかの指と左手のいずれかの指との間の電位差であり、心電由来の生体信号などを含む。

ユーザは、スティック型コントローラ１を両手で持って、親指で操作ボタン４１、４２を操作する。このとき、人差し指又は中指で裏面４６を支えることにより、親指で操作ボタン４１、４２を押す力に対抗する必要がある。裏面４６を支えるために、ユーザの人差し指又は中指は、裏面４６に接触する。

ユーザがコントローラ１を把持するとき、ユーザの指がコントローラ１に接触する位置に、コントローラ１は電極を有する。

例えば、裏面４６は、操作面４３の操作ボタン４１、４２の位置と対抗する位置を含む所定の範囲に、複数の電極を有する。所定の範囲の一例は、操作ボタン４１、４２の位置と対抗する位置を基準として、ユーザの指の可動範囲を半径とする範囲である。

図３（ａ）に示すコントローラ１は、左手の指が接触する部分に左手用電極４８を、右手の指が接触する部分に右手用電極４９を有する。

ユーザは、図３（ｂ）に示すパッド型コントローラ１も、操作面４３に設置された操作ボタン４１、４２を押す力に対抗するためには、裏面４６を指で支える。裏面４６を支えるために、ユーザが裏面４６に接触する位置に、左手用電極４８と右手用電極４９を設置する。この位置に電極を設置することで、操作中でも継続した生体信号計測が可能になる。

図４は、コントローラ１の上側面４５に、生体信号計測用電極を設置した例を示す。ユーザがスティック型コントローラ１を両手で持つ際に、人差し指を上側面４５に置き、中指、薬指、小指を裏面４６に置く持ち方も考えられる。

この場合には、操作ボタン４１、４２を押す力に対抗する裏面４６を支えるだけではなく、上側面４５にも常にユーザの人差し指が置かれることになる。コントローラ１は、人差し指の設置位置である上側面４５に、左手用電極４８と右手用電極４９を有しても良い。パッド型コントローラ１においても、上側面４５に人差し指を置く持ち方も想定されるので、コントローラ１は、上側面に左手用電極４８と右手用電極４９を有していても良い。

（電極形状と個数）
図５（ａ）から図５（ｄ）は、電極形状の例を示す。電極の材料は、導電性の物質によって構成される。電極の材料の一例は、金、銀である。望ましい電極の材料は、銀塩化銀である。銀塩化銀は生体と接触した場合の分極が少ないためである。

電極の形状及び個数は、医療用で使われる電極と同様の図５（ａ）の丸型の電極５１以外にも、用途によって、さまざまな形状が想定される。例えば、一方の手が接触するための電極の個数もひとつでなくて良い。図５（ｂ）のように半円状の２つの電極５２ａ、５２ｂや、図５（ｃ）のように同心円状の２つの電極５３ａ、５３ｂや、図５（ｄ）のように３つの電極５４ａ、５４ｂ、５４ｃで構成することができる。片手に対して２つ以上の電極を準備することで、それぞれの電極の信号取得状態から指の接触状態や指の置かれている位置が推定可能になる。

また、電極形状は丸型には限定されない。図６（ａ）〜（ｃ）は、電極形状の他の例を示す。例えば図６（ａ）に示すように、手が接触しそうな部分の広い範囲に電極を設置して、常に接触が維持されるようにしてもよいし、裏面４６のみならず、上側面４５、下側面にもつながっているような帯状の電極（図６（ｂ））や、複数の帯状の電極（図６（ｃ））を用いることで、さまざまな持ち方が想定されていても、生体信号の計測が可能になる。

（システム構成図）
図７は、情報処理システム１００のシステム構成を示す。コントローラ１は、操作入力装置１ａと生体信号計測装置１ｂとを備える。

コントローラ１は、ユーザの操作入力、及び操作時のユーザの生体信号を計測する。計測した生体信号を含む情報は情報処理装置２に送信される。

情報処理装置２は、操作入力装置１ａや生体信号計測装置１ｂの入力を受けて、所定の処理を実施して、表示部３に対して処理結果を出力する。コントローラ１と情報処理装置２との間は、無線又は有線によって接続される。

図８は、コントローラ１と情報処理装置２との構成を示す。コントローラ１と情報処理装置２が無線で接続された場合で説明する。

コントローラ１に含まれる操作入力装置１ａは、操作入力部１１と、操作信号出力部１２とを備える。

操作入力部１１は、操作ボタン４１、４２から入力された操作信号を取得又は判定する。取得された操作情報は、操作信号出力部１２から情報処理装置２に向けて送信される。

コントローラ１に含まれる生体信号計測装置１ｂは、電極部１３と、生体信号増幅部１４と、生体信号出力部１５とを備える。

電極部１３は、複数の電極で構成される。複数の電極は、例えば、ユーザの右手がコントローラ１の接触する位置と、ユーザの左手がコントローラ１に接触する位置に配置されている。

生体信号増幅部１４は、複数の電極の間の電位差に相当する生体信号を増幅する。例えば、右手と左手の間の電位差が生体信号増幅部１４にて増幅される。増幅された信号はＡ／Ｄコンバータによりデジタル信号に変換され、生体信号の情報は生体信号出力部より情報処理装置２に送信される。なお、生体信号増幅部１４は、所定以上の電位の大きさの生体信号を計測できる場合には、生体信号を増幅する必要は無く、複数の電極の電位を測定するだけでも良い。よって、以下、生体信号増幅部１４は生体信号計測部とも表記する。

情報処理装置２においては、操作入力情報を操作信号取得部２１にて受信し、生体信号を生体信号取得部２２で受信することで、コントローラ１からの情報を受信する。

生体信号は、記録されただけの源信号では情報として使用できないことが多いため、生体信号処理部２３にて、源信号から意味のある情報を抽出する処理が行われる。例えば、両手の間の電位変化の信号の時系列変化から、ピーク検出をして心拍情報を取得するなどの作業が該当する。

アプリケーション処理部２４では、情報処理装置２の中心的な処理が行われる。アプリケーション処理の例は、ゲームアプリケーションにおけるゲーム進行、健康管理アプリケーションにおける記録・データ管理・表示、学習アプリケーションにおける出題・採点・結果表示などである。アプリケーション処理は、コントローラ１からの入力を受けて所定の処理を行うことで実現される。アプリケーション処理部２４は、いわゆるアプリケーションプロセッサであってもよい。

アプリケーション処理部２４で処理した結果をユーザにフィードバックするために、表示情報出力部２５および音響情報出力部２６によって、視覚的又は聴覚的な信号が出力される。この出力信号は表示部３に送られる。

表示部３は、表示情報出力部２５および音響情報出力部２６から出力された信号を表示する。これにより、信号がユーザに提示される。表示部３の例は、テレビ、ディスプレイ、又はスピーカである。

（ハードウェア構成）
図９はコントローラ１のハードウェア構成を示す。コントローラ１は、操作ボタン群６１と、制御信号変換回路６２と、計測電極６３ａと、参照電極６３ｂと、アース６３ｃと、生体アンプ６４と、ＡＤ変換回路６５と、送信回路６７と、信号処理ユニット６６と、アンテナ６８と、バッテリ６９とを備えている。

このうち、操作ボタン群６１と制御信号変換回路６２とは、図８に示す操作入力部１１に対応する。また、計測電極６３ａと参照電極６３ｂとアース６３ｃとは、図８に示す電極部１３に対応し、生体アンプ６４は図８に示す生体信号増幅部１４に対応する。なお、ＡＤ変換回路６５は生体信号増幅部１４に含まれてもよい。また信号処理ユニット６６は、ＣＰＵ１０１とＲＡＭ１０２とプログラム１０３とＲＯＭ１０４とを有する。また、送信回路６７とアンテナ６８とは、図８に示す生体信号出力部１５および／または操作信号出力部１２として機能する。これらを「出力部」または「送信部」と呼ぶこともある。これらの各構成要素はこれらは互いにバス１０５で接続され、相互にデータの授受が可能である。また、それぞれの回路にはバッテリ６９から電力が供給されている。

操作ボタン群６１に関する各ボタンの押下情報は、制御信号変換回路６２にて変換されバスを経由してＣＰＵ１０１に送られる。

生体アンプ６４には計測電極６３ａと参照電極６３ｂとアース６３ｃが接続され、これらの電極はコントローラ１の所定の場所に設置されている。計測電極６３ａと参照電極６３ｂの間の電位差は生体アンプ６４で増幅され、ＡＤ変換回路６５でアナログの生体信号からデジタル信号に変換され、処理や送信可能な生体信号としてバスを経由してＣＰＵ１０１に送られる。

ＣＰＵ１０１は、メモリ１０２に格納されているコンピュータプログラム１０３を実行する。コンピュータプログラム１０３には、後述するフローチャートに示される処理手順が記述されている。コントローラは、このコンピュータプログラム１０３にしたがって、操作信号と生体信号を変換し、送信回路６７を経由してアンテナ６８より送信される。プログラム１０３はＲＯＭ１０４に格納される場合もある。

なお、信号処理ユニット６６と制御信号変換回路６２と送信回路６７と生体アンプ６４とＡＤ変換回路６５は、１つの半導体回路にコンピュータプログラム組み込んだＤＳＰ等のハードウェアとして実現されてもよい。一つの半導体回路にすると、消費電力が低減される効果も得られる。

図１０は情報処理装置２のハードウェア構成を示す。情報処理装置２は、アンテナ７１と、受信回路７２と、信号処理ユニット７３と、画像制御回路７４と、表示情報出力回路７５と、音響制御回路７６と、音響情報出力回路７７と、電源７８とを備えている。

このうち、アンテナ７１と受信回路７２とは、図８に示す生体信号取得部２２および／または操作信号取得部２１として機能する。これらを「受信部」と呼ぶこともある。

信号処理ユニット７３は、ＣＰＵ１１１とＲＡＭ１１２とプログラム１１３とＲＯＭ１１４とを有する。信号処理ユニット７３は、図８の生体信号処理部２３および／またはアプリケーション処理部２４として機能する。画像制御回路７４および表示情報出力回路７５は、図８の表示情報出力部２５として機能する。また音響制御回路７６および音響情報出力回路７７は、図８の音響情報出力部２６として機能する。これらは互いにバス１１５で接続され、相互にデータの授受が可能である。また、それぞれの回路には電源７８から電力が供給されている。

コントローラ１からの操作情報および生体情報はアンテナ７１を経由して受信回路７２で受信され、バス１１５を経由してＣＰＵ１１１に送られる。

ＣＰＵ１１１は、メモリ１１２に格納されているコンピュータプログラム１１３を実行する。コンピュータプログラム１１３には、後述するフローチャートに示される処理手順が記述されている。情報処理装置は、このコンピュータプログラム１１３にしたがって、操作信号と生体信号を変換し、所定のアプリケーションを実行するための処理を行って、ユーザに画像や音響によってフィードバックを行うための信号を作成する。プログラム１１３はＲＯＭ１１４に格納される場合もある。

信号処理ユニット７３で生成された画像のフィードバック信号は、画像制御回路７４を経由して表示情報出力回路７５から出力され、音響のフィードバックは音響制御回路７６を経由して音響情報出力回路７７から出力される。

なお、信号処理ユニット７３と受信回路７２と画像制御回路７４と音響制御回路７６は、１つの半導体回路にコンピュータプログラム組み込んだＤＳＰ等のハードウェアとして実現されてもよい。一つの半導体回路にすると、消費電力が低減される効果も得られる。

（処理フローの概要）
図１１は、コントローラ１と情報処理装置２の処理のフローを示す。ステップＳ１１からステップＳ１４までが、コントローラ１の内部処理、ステップＳ２１からステップＳ２５までが情報処理装置２の処理を示している。

＜ステップＳ１１＞
操作入力部１１は、操作入力を受け付ける。具体的には、操作入力を受け付たタイミングで、いずれの操作ボタンが押されているかを検出する。受付のタイミングの例は、操作ボタンが押下されたときである。

＜ステップＳ１２＞
操作信号出力部１２は、操作入力部１１が受け付けた操作入力の操作信号を出力する。

＜ステップＳ１３＞
生体信号増幅部１４は、複数の電極部１３の間の電位差に相当する生体信号を測定する。例えば、コントローラに接触した右手と左手との間の電位差を測定する。また、生体信号増幅部１４は測定した生体信号を増幅しても良い。

＜ステップＳ１４＞
生体信号出力部１５が生体信号を出力する。

なお、ステップＳ１１及びステップＳ１２と、ステップＳ１３及びステップＳ１４とは、それぞれ並列な処理として行っても良く、ステップＳ１１からステップＳ１４の処理を、全て順序どおりに行う必要は無い。

＜ステップＳ２１＞
操作信号取得部２１は、操作信号出力部１２からの操作信号を受信する。

＜ステップＳ２２＞
生体信号取得部２２は、生体信号出力部１５からの生体信号を受信する。

＜ステップＳ２３＞
生体信号処理部２３は、生体信号取得部２２にて受信した生体信号から、生体情報を抽出する。

＜ステップＳ２４＞
アプリケーション処理部２４は、操作信号取得部２１からの操作情報と生体信号処理部２３からの生体情報とを受けて、現在のアプリケーションを実行するための所定の処理がなされる。

＜ステップＳ２５＞
アプリケーション処理部２４の処理結果をユーザにフィードバックするために、表示情報出力部２５は映像情報を出力し、音響情報出力部２６は音響情報を出力する。

なお、図１１に示す処理フローに記載していないが、表示部３は、情報処理装置から出力された情報を表示する。

なお、アプリケーション処理部２４は、操作信号取得部２１からの操作情報及び生体信号処理部２３からの生体情報のいずれの情報を用いて処理を行う必要はなく、生体信号のみを用いて処理を行っても良い。その場合には、操作信号を受信するステップＳ２１を省略することもできる。

（実施の形態１）
本実施の形態による情報処理システム１００は、コントローラに備えられた生体電位センサによって計測された生体電位の分析によってコントローラの持っている向きを判別する。

本実施の形態にかかる情報処理システム１００の全体の基本的な構成は図７及び図８に示されるとおりである。本実施の形態の情報処理システム１００の特徴の１つである生体信号処理部２３を中心に説明する。

図１２は、情報処理システム１００の、生体信号処理部２３を含む構成例を示す。

図１２に示すように、情報処理システム１００は、生体信号取得部２２と、生体信号処理部２３と、アプリケーション処理部２４とを少なくとも備える。例えば、コントローラ１は、生体信号取得部２２と、生体信号処理部２３とを少なくとも備える。情報処理装置２は、アプリケーション処理部２４を備える。情報処理装置２は、コントローラ１に含まれる生体信号処理部２３の処理結果を用いて、情報処理する。

生体信号取得部２２で取得された現在のユーザの生体電位信号は、心電成分抽出部２３１に送られる。心電成分抽出部２３１は所定の心電成分を抽出し、成分方向判定部２３２は、抽出された心電成分方向が正方向であるかどうかを判定する。この判定結果に基づきボタン割当変更部２３３は、持ち方に応じて操作ボタンと制御信号の割り当てを変更してからアプリケーション処理部２４に情報を送信する。これによって持ち方に応じた操作ボタンの制御割り当てが実現される。以下、フローチャートと、データ等によってその詳細を説明する。

図１３は、図１２で示した生体信号処理部２３の処理の流れを説明するフローチャートである。

＜ステップＳ３１＞
生体信号取得部２２は、コントローラ１を構成する筐体に配置された電極部を用いて計測された現在のユーザ生体電位信号を取得する。

＜ステップＳ３２＞
生体成分抽出部２３１は、所定の心電成分を抽出する。ここで、コントローラ１を両手で持った場合に計測される信号の例、及び所定の心電成分の例について図１４を用いて説明する。

図１４（ａ）〜（ｆ）は、コントローラの２通りの持ち方と、その持ち方に対応した生体電位信号の例、および各波形の特徴を示している。図１４（ａ）は、コントローラを順持ちにした場合である。ここでコントローラの持ち方のうち、実行中のアプリケーションが当初の想定通りになっている持ち方を「順持ち」、想定とは右手と左手が反対に持っている場合を「逆持ち」と呼ぶ。順持ちでは、左手でカーソルの移動方向指示ボタン（十字型の操作ボタン）４１を操作し、右手で丸いボタン４２を操作することとする。反対に逆持ちの場合は、図１４（ｄ）に示したように、コントローラを反対に持った場合で、十字型の操作ボタンは右手で操作し、丸いボタン４２を左手で操作することになる。いずれの持ち方においても、操作面４３とは反対側の裏面４６には生体信号計測用の電極が設置され、両手の電位差が計測可能な状況になっている。

順持ち、逆持ちのそれぞれで計測された生体信号の例を、図１４（ｂ）及び図１４（ｅ）に示す。両手の電位差を計測した場合、両手の経路に含まれる手や腕や上半身等からの信号とともに心電由来の信号も含まれるのが特徴である。心臓は規則的に拍動しているため、拍動に連動した心電と呼ばれる電気信号が発生している。この電気信号は、生体信号の中では大きいために両手の電位差の変動にも心電成分が含まれている。心電成分は、所定の形状の波形を示すことが知られており、それらの特徴点から、ＰＱＲＳＴ等の記号が付与されている。波形の特徴は、この記号によって記述可能である。心拍の１拍分の波形変化の例を記号と共に図１４（ｃ）及び図１４（ｆ）に示す。

ここで順持ち、逆持ちの場合に得られる生体信号はほぼ同じ形状の信号が得られるものの、心臓をどちら向きに計測するか（＝どちら向きにコントローラを持つか）によって、その波形は、逆相に変化していることがわかる。特にピーク点であるＱ点やＲ点がグラフの中心線よりも上側にあるか下側にあるかが反対になっていることがわかる。例えば図１４（ｃ）では、Ｑが中心線よりも下にあり、その後急激に上昇してＲ点を記録しているのに対して、図１４（ｆ）では、Ｑ点が中心線よりも上にあり、その後急激に下降してＲ点を記録している。なお、Ｐ、Ｑ、Ｒ、Ｓ、Ｔの記号に関しては、そのピーク値に着目した場合にはＰ点などと呼ばれることがあり、そのピーク値を包含する波形に着目した場合にはＰ波などと呼ばれることがある。

このピークをつけているＱＲ点の抽出が生体成分抽出部２３１の行う心電成分の抽出である。Ｑ点やＲ点は、その他の状況と比べて、振幅が大きく、適切な閾値設定によっても容易に抽出可能である。

あるいは、生体成分抽出部２３１は、Ｔ波が上向きのピークを持つか、下向きのピークを持つかの向きによっても、正方向であるか負方向であるかを判定することが可能である。図１４（ｃ）は、Ｔ波が上向きのピークを持つ波形例を示している。また図１４（ｆ）は、Ｔ波が下向きのピークを持つ波形例を示している。

＜ステップＳ３３＞
再び図１３を参照する。成分方向判定部２３２は、ステップＳ３２で抽出された心電成分の方向を抽出する。例えばＱＲ成分が正の方向（Ｑ＜Ｒ）に変化しているか、負の方向（Ｒ＞Ｑ）に変化しているかを判定する。判定結果は、正、もしくは負のいずれかとなる。

成分方向判定部２３２は、予め保持する基準を用いて、心電成分の方向を判定する。予め保持する基準の例は、電位の大きさの範囲及びその電位の極性の情報である。なお電位の極性とは、電位の正または負を意味する。成分方向判定部２３２は、予め保持する基準に相当する電位を有する心電成分を抽出したときに、正方向又は負方向で有ると判定する。

また、予め保持する基準の例は、正方向及び負方向の波形のパターンである。このパターンは、たとえば図１４（ｃ）および（ｆ）に示される極性毎の波形のパターンである。成分方向判定部２３２は、抽出した心電成分の波形と予め保持する波形のパターンとの類似度を求め、所定以上の類似度を有する場合、その波形が正方向又は負方向に振れていると判定する。

＜ステップＳ３４＞
成分方向判定部２３２は、正もしくは負の判定を行い、判定結果が正の場合にはステップＳ３７に、負の場合にはステップＳ３５に進む。

＜ステップＳ３５＞
成分方向判定部２３２は、ＱＲ成分の方向が負であった場合にはユーザはコントローラを逆持ちしていると判定し、この判定結果をボタン割り当て変更部２３３に送る。

＜ステップＳ３６＞
ボタン割り当て変更部２３３は、ユーザコントローラを逆持ちしていると判定した場合の操作ボタンと制御情報の対応付けに基づき、ボタンの割り当てを変更する。

図１５（ａ）〜（ｃ）は、順持ち時および逆持ち時のキー割り当ての一例を示す。コントローラ１は、操作面４３に十字型の操作ボタン４１と丸型の操作ボタン４２を持ち、順持ちの場合には図１５（ａ）のように十字型の操作ボタン４１を左手で操作し、丸型の操作ボタン４２を右手で操作する。また逆持ちの場合には図１５（ｂ）のように十字型の操作ボタン４１を右手で操作し、丸型の操作ボタン４２を左手で操作する。ここで、十字型の操作ボタンの上下左右をＡＢＣＤの記号によって対応させた場合に、逆持ちの場合には、図１５（ｃ）のテーブルのように、Ａボタンには下、Ｂボタンには左、Ｃボタンには上、Ｄボタンには右が割り当てられる。

これによって図１５（ｂ）のように逆向きに持った場合にも、ユーザが持った状態を基準にして正しく上下左右の操作が可能になる。

＜ステップＳ３７＞
成分方向判定部２３２は、ＱＲ成分の方向が正であった場合にはユーザはコントローラを順持ちしていると判定し、この判定結果をボタン割り当て変更部２３３に送る。

このように、操作ボタン４１及び４２は、ユーザの持ち方に応じて、異なる操作に割り当てられる。図１５（ｃ）に示すように、例えば、順持ちの割り当てと逆持ちの割り当てとは異なる割り当てとなる。よって、複数の持ち方毎に、操作ボタン４１及び４２の割り当ての情報を保持しても良い。なお、２つの持ち方が同じ操作ボタン４１及び４２の割り当てを行っても良い。

＜ステップＳ３８＞
ボタン割り当て変更部２３３は、予め保持する持ち方と操作ボタンの割り当てとを対応付けた情報を参照して、成分方向判定部２３２が判定した持ち方に基づいて、操作ボタンの割り当てを変更する。例えば、ユーザのコントローラ１を順持ちしていると判定した場合の操作ボタンと制御情報の対応付けに基づき、ボタンの割り当てを変更する。具体的には図１５（ｃ）のように、Ａボタンには上、Ｂボタンには右、Ｃボタンには下、Ｄボタンには左が割り当てられる。これによって図１５（ａ）のように逆向きに持った場合にも、ユーザが持った状態を基準にして正しく上下左右の操作が可能になる。

つまり、本開示では、ユーザがコントローラを順持ちしていると判定されたか、逆持ちと判定されたかに応じて、異なるキーバインドが適用されることを意味する。キーバインドとは、複数の操作部の各々が操作されたときに、どの操作信号を出力させるかに関する操作と信号との割り当てである。成分方向判定部２３２が判定した正方向または負方向に応じて、換言すれば、ユーザの持ち方に応じて、複数の操作部の各々と各操作信号との割り当てを相違させることになる。

＜ステップＳ３９＞
アプリケーション処理部２４は、ボタン割り当て更新部２３３のボタン割り当てに基づいて、操作信号取得部２１からの操作ボタンを解釈してアプリケーションを実行する。

以上の処理によって、ユーザが自分の希望、もしくは誤って持った場合にも、生体信号解析によって、順持ちか逆持ちかの判定ができ、それに応じた操作ボタンの割り当てをすることで、どちら向きに持っても、ユーザはアプリケーションをスムーズに操作できる。

なお、Ｓ３３において、成分方向判定部２３２は、心電成分が負方向であるか否かだけを判定しても良い。このとき、ボタン割り当て変更部２３３は、心電成分が負方向である場合、予め保持する持ち方と操作ボタンの割り当てとを対応付けた情報を参照して、操作ボタンの割り当てを変更する。つまり、心電成分が正方向である場合、ボタンの割り当てを変更しない。

また、Ｓ３３において、成分方向判定部２３２は、心電成分が正方向であるか否かだけを判定しても良い。このとき、ボタン割り当て変更部２３３は、心電成分が正方向である場合、予め保持する持ち方と操作ボタンの割り当てとを対応付けた情報を参照して、操作ボタンの割り当てを変更する。つまり、心電成分が負方向である場合、ボタンの割り当てを変更しない。

（その他のボタン割り当ての事例）
図１６（ａ）〜（ｆ）は、図１５以外のボタン割り当ての事例について示す。図１６（ａ）〜（ｃ）は、コントローラ１の操作面４３の両端付近に、ボタンＥとボタンＦの２つが設置された場合の例である。図１６（ａ）は順持ちの例を示し、図１６（ｂ）は逆持ちの例を示す。逆持ちした場合には、図１６（ｃ）のように左右のボタンの対応が入れ替わる。また、図１６（ｄ）〜（ｅ）は、コントローラ１の操作面４３にボタンＧとボタンＨが縦に配置された場合の例である。図１６（ｄ）は順持ちの例を示し、図１６（ｅ）は逆持ちの例を示す。逆持ちした場合には図１６（ｆ）のように上下のボタンの対応が入れ替わる。

図１７Ａは、図３（ｂ）に示すコントローラ１を縦持ちの事例を示す。図１７Ｂは、図１７Ａに示すコントローラ１の裏面４６を示す。コントローラ１は、裏面４６に、電極５１、５２、５３および５４を有する。

図１７Ｃ及び図１７Ｄは、タブレット型のコントローラ１の横持ちの事例、および裏面４６の電極を示す。また図１７Ｅおよび図１７Ｆは、タブレット型コントローラ１の縦持ちの事例、および裏面４６の電極を示す。

図１７Ａ及び図１７Ｂに示すように、コントローラ１は、持ち方の左右が入れ替わるだけでなく、縦長と横長のタブレット型のコントローラ１を持つ向きも２通り考えられる。そのため、裏面４６には上下左右の４箇所に生体電位計測用の電極を設置する。なお、４つの電極に限られず、４つ以上の電極を有することにより、縦持ちの２通り及び横持ちの２通りのいずれの持ち方かを検出できる。

例えば、成分方向判定部２３２は、縦持ちの２通り及び横持ちの２通りのいずれの持ち方かを検出するために、図１３に示すステップＳ３３の前に、４つの電極のうち、少なくとも２つ以上のいずれの電極に、ユーザが接触しているかを判定する。予め保持する電極の位置と持ち方とを対応付けた関係を参照して、成分方向判定部２３２は、ユーザがタブレット型のコントローラ１を縦長に持っているのか、横長に持っているのかを判定し、その後、順持ちか逆持ちかを判定すればよい。

また、縦持ち及び横持ちに限らず、情報処理装置２が処理する内容に応じて、斜めに持って操作するなどの他のコントローラ１の持ち方に応じた操作ボタンの割り当てを含んでも良い。この場合、成分方向判定部２３２は、ユーザが接触している電極の位置とユーザの持ち方とを対応付けた情報及び予め保持する持ち方の方向と操作ボタンの割り当てとを対応付けた情報とも、ユーザの持ち方の例に対応付けた情報を有する。

（効果）
以上のように、コントローラ１に搭載された生体電位センサによって生体電位センサを計測し、生体信号を分析することで、順持ちか逆持ちかの判定が可能になる。右利きの人も左利きの人も自分の持ちやすい方向でコントローラを持つだけで、操作ボタンの対応付けが変更されるため、使いやすさが向上する。また、間違ってコントローラを持った場合でも、コントローラの対応付けのほうを逆にすることで、いつもと同じ操作感が提供可能になる。

例えば、ユーザがコントローラを持つ位置が同じでも、コントローラの位置又は傾きなどが異なる場合がある。ジャイロセンサなどでコントローラの位置又は傾きによって、操作ボタンの割り当てを変更した場合には、不要にボタンの割り当てを変更する可能性がある。一方、本開示のコントローラは、ユーザが持つ位置、及び右手又は左手の区別をして、ボタンを割り当てるため、操作環境を変更せずに操作できるという操作感を提供できる。

また、本開示は画面回転の制御にも有効である。たとえばタブレット型コンピュータなどの電子機器の画面をユーザが着座姿勢で確認している場合を考える。タブレット型コンピュータは長辺および短辺を有する矩形状とする。ユーザは長辺を上下方向にしてタブレット型コンピュータを把持しているとする。通常の状態（着座状態）ではユーザの顔の向きは地面に対してほぼ垂直になっており、両目を結ぶ方向は地面に対してほぼ平行である。そのため、地面に対する機器の向きを検出するジャイロセンサ等の出力によって、タブレット等の画面表示（たとえばテキストや画像の表示の向き）を常に長辺の上から下方向に向かって調整して表示することは有効である。その後、ユーザがくつろいで、タブレットをそのまま把持しながら横に寝転がり、その状態でタブレットの画面表示を見る場合を想定する。その場合には、ユーザがタブレットの把持の仕方を変更していないため、表示態様はそのまま維持されるべきである。しかしながら、ユーザが横に寝転がったことにより、ジャイロセンサはタブレットが約９０度回転されたことを示す信号を出力する。その結果、タブレットの画面表示が回転される。ジャイロセンサの出力を用いるだけでは読みにくい方向に回転制御がされるという課題がある。従来は、たとえばタブレットに明示的に回転を禁止するためのスイッチが備え付けられており、ユーザが横に寝転がったときにはそのスイッチを手動でＯＮ／ＯＦＦする必要があった。本開示では、把持の仕方は顔の向きに連動していることを考慮するため、把持の仕方を検出することにより、正しく読める向きに表示の向きを制御できる。

なお、生体信号処理部２３は、情報処理装置２において実施される場合について説明したが、コントローラ１内部で処理をしても良い。生体信号処理部２３を、コントローラ１における生体信号増幅部１４の直後に置き、その結果は、操作信号出力部１２からの出力をボタン割り当て更新後の結果にすることで、コントローラ単体で、順持ちと逆持ちの判定、及び、ボタン割り当て変更が可能になる。これにより、情報処理装置２自体は修正する必要がなく、コントローラを置き換えるだけで良い。

（実施の形態２）
実施の形態１においては、生体信号処理部２３の内部での順持ちか逆持ちかの判定を中心に説明した。この構成により、コントローラをどちら向きに持っても同様の操作感が提供可能になる。ただし、この判定を常に動作させると情報処理装置の処理の負荷が継続的にかかる。また、コントローラを持ち替えた時や、他の人にコントローラを渡した時等の再判定のタイミングについては実施の形態１では言及していない。

本実施の形態では、持っている向きの判定処理の開始タイミングを生体信号の分析によって行う例を説明する。

本実施の形態による情報処理システムの全体の基本的な構成は、図７及び図８に示す構成と同じである。そこで以下では、実施の形態１の構成と異なる構成である生体信号増幅部１４と生体信号処理部２３を中心に説明する。

図１８は、本実施の形態による、コントローラ１の生体信号増幅部１４と情報処理装置２の生体信号処理部２３の構成例を示す。電極部１３にユーザの両手が接触している状態で、電位増幅部１４１が両手の電位差を増幅し、把持検出部１４２はユーザが電極を触り始めたことによって一時的に電位増幅部１４１が増幅可能な範囲を超えているか否かを判定する。Ａ／Ｄ変換部１４３は増幅されたアナログ信号をデジタル信号に変換する。生体信号取得部２２は、生体信号出力部１５から送信された生体信号を受信する。生体信号処理部２３内部の、心電成分抽出部２３１、成分方向判定部２３２、ボタン割当変更部２３３は、生体信号取得部２２によって取得された生体信号を利用して、コントローラの把持方向を判定する。アプリケーション処理部２４は、コントローラの把持方向の判定結果を利用して、アプリケーションソフトウェアの実行を制御する。なお、ボタン割当変更部２３３は、アプリケーション処理部２４からの指示によって操作入力時の操作ボタンの割当を変更してもよい。たとえば、アプリケーション処理部２４は、コントローラの把持方向の判定結果から、操作ボタンの割り当てが必要であると判断した場合には、ボタン割当変更部２３３に、現在実行しているアプリケーションソフトウェアの情報を送信する。ボタン割当変更部２３３はその情報を受信して、当該アプリケーションソフトウェアの実行内容にしたがって、操作ボタンの割り当てを変更する。ボタン割当変更部２３３は、アプリケーションソフトウェアの実行内容の情報に代えて、アプリケーション処理部２４から直接、操作ボタンの割り当てを特定する情報を受け取ってもよい。

図１９は、コントローラ１をユーザが手にしたタイミングを検出するための把持検出処理と、把持が確認された後の持ち方判定処理の２つの処理の切り替えタイミングを説明したフローチャートである。実施の形態２においては、把持のタイミングを待つための処理と、把持が確認された後に持ち方判定の処理を交互に実施することで、処理が継続される。現在の処理状態はモードとして記憶されており、把持検出モードと持ち方判定モードの２つのモードを持っていることとする。また、図１９のフローチャートは、所定の周期で繰り返し実施され、例えばゲーム操作の通信周期（数ミリ秒〜数十ミリ秒）と同期して実施される。なおこの通信周期は一例である。通信周期はアプリケーションの特性に応じて１００ミリ秒程度でもよいし、それ以上であってもよい。

＜ステップＳ４０＞
把持検出部１４２は、現在の処理モードを判定する。現在の処理モードが把持検出モードの場合にはステップＳ４１に進み、持ち方判定処理モードの場合にはステップＳ４６に進む。

＜ステップＳ４１＞
把持検出部１４２は、ユーザがコントローラ１を把持していないかを検出する。生体電位の特性として、ユーザがコントローラ１を把持して両手で電極を触った瞬間には、計測範囲に対して過大な振幅の電位差が入力されてしまう。この過大な振幅を検出することで、最初、コントローラ１は誰にも把持されてなかったときに、初めて電極を持った瞬間であることが検出できる。具体的には、例えば電位増幅部１４１の出力が計測範囲を超えたためにその出力が飽和する場合があり、この飽和状態を検出することで、把持のタイミングであったかが判定できる。

なお、飽和状態の検出は、電位増幅部１４１のアナログ信号出力を利用して行われる。把持していることが検出されるまではＡ／Ｄ変換部１４３によるＡ／Ｄ変換は行われない。常にＡ／Ｄ変換を行うわけではないため、電力の消費を抑えることが可能である。

図２０（ａ）および（ｂ）は、計測される信号の例を示す。図２０（ａ）は計測された生体電位の例、（ｂ）は処理モードの切り替えを示す。最初、ユーザはコントローラ１を把持していないため、図２０（ａ）で計測される信号はフラットに近い。その後、ユーザがコントローラを把持して、コントローラ裏面４６の電極を両方の手で触った瞬間（タイミング２６１）から、急激に計測電位は上昇し計測可能な最大値に到達する（タイミング２６２）。この状況になっていれば把持された、なっていなければ把持はされていないと判定することで、把持検出が可能になる。

＜ステップＳ４２＞
把持検出部１４２は、ユーザがコントローラ１を把持したかどうかの判定結果で分岐をする。ユーザの把持を検出したらステップＳ４３に進み、検出しなかったらステップＳ４５に進む。

＜ステップＳ４３＞
把持検出部１４２は、ユーザのコントローラ１を把持したので、持ち方判定中に入るための操作ボタンと制御の対応付けは割り当て１に設定される。

図２１には、左右の持ち方に対応しているアプリケーションを実行中の場合の左右切り替え可能アプリケーションの場合の操作ボタンと制御の割り当て対応表である。表によれば、持ち方の判定中は、どの操作ボタンにどの制御を割り当ててよいか不明なため、図２１の対応テーブルに示される割り当て１（参照符号２７１）のように例えば一律に「判定中」の表示を対応付けることができる。これによって、判定が完了するまでは、画面に「判定中」と表示することで、ユーザに操作されたこと自体のフィードバックをしながら、まだ操作可能なタイミングではないことが通知できる。

また、判定中は、操作ボタンに何も制御を割り当てないこともできる。待っている時間は判定が終了するまでの短い間なので、その間は、操作ボタンが押されても、動作を何も返さないことも可能である。

＜ステップＳ４４＞
把持検出部１４２は、ユーザがコントローラ１を把持したと検出したので、次回以降の処理では、持ち方判定の処理が必要であるため、その旨を記憶するために処理モードを持ち方判定モードに切り替えて処理を終了する。

＜ステップＳ４５＞
把持検出部１４２は、モードの変更がない場合には、特に追加の処理を行わずに、処理を終了する。

＜ステップＳ４６＞
生体信号処理部２３は、処理モードが持ち方判定モードであることから持ち方判定処理を実施する。持ち方判定処理は、図１３の判定処理と同様の処理により実現可能である。この処理によって、持ち方が判定可能な情報が得られたかどうか、判定結果が得られたとすればそれは順持ちか逆持ちかが次のステップに送られる。

＜ステップＳ４７＞
生体信号処理部２３は、持ち方判定処理の結果が得られたかによって分岐がされる。判定結果が得られない場合には、引き続き判定処理が必要なためステップＳ４５に進み、判定結果が得られた場合には、操作ボタンの割り当てを変更するためにステップＳ４８に進む。

図２０に示されるように、生体電位センサに過大な電位差が与えられると、センサの計測範囲を超えてしまい、一定の時間の間は、計測不能な時間が発生する（タイミング２６２からタイミング２６３まで）。この計測不能な時間はセンサの性能や、人体の帯電状況によって異なってくる。また、計測可能になった後にもＲ波等の特徴的な心電成分が検出されるまでの待ち時間（タイミング２６３からタイミング２６４まで）が必要であり、持ち方判定処理を続ける必要がある。

＜ステップＳ４８＞
生体信号処理部２３のボタン割当変更部２３３は、持ち方判定結果に応じた操作ボタンと制御の割当を行う。図２１の例では、順持ちの場合には割り当て２（参照符号２７２）が、逆持ちの場合には割り当て３（参照符号２７３）が割り当てられる。

＜ステップＳ４９＞
ボタン割当変更部２３３は、その役割を終え、処理モードを把持検出モードに切り替える。これによって、ユーザが次にコントローラ１を再度持ちなおした時や別のユーザにコントローラを渡したときなど、次の把持のタイミングを待つことができる。

（効果）
以上のような処理によって、コントローラの把持の検出を生体信号の変化から行うことで、ユーザの自然に振舞うだけで、適切なタイミングで持ち方に応じた操作ボタンの対応付けが可能になる。

なお、本実施の形態２では、右利きでも左利きでも対応できるアプリケーションの場合の説明をしたが、右利き専用のアプリケーションの場合でも、本手法は有効である。図２２に右利き専用アプリケーションの場合の割り当てテーブルを示す。持ち方判定期間中の割り当て１（参照符号２８１）には、デフォルトの割当が最初からなされる。判定結果が出て割り当て２（参照符号２８２）が採用された後に、もしも逆持ちになっている場合には、割り当て３（参照符号２８３）に従って、画面に「反対に持っています」等の表示をする。これにより、正しい持ち方に直すことをユーザに促すことができる。

なお、本明細書においては、操作ボタンは、物理的に押すことが可能なボタンを事例に説明を行ったが、物理的に押せないようなアイコンに対しても同様の割り当て変更は有効である。例えば、タッチパネルを供えた画面内に描画されたアイコンに対しても同様の処理は可能であり、自分の好みの向きにアイコンを並べる等の操作も可能である。

なお、実施の形態１においては、はじめに、ユーザが持ったコントローラの向きに応じて、図１５に示したように順持ちと逆持ちではすべての操作ボタンの割当てを変更した。しかしながら、ゲーム等を長時間にわたって操作している場合には、同じようなボタン操作を繰り返していると、指が疲労する場合がある。例えば、図２３（ａ）に示すように順持ちで、車のレースのゲームをしていた場合には、多くの場合十字型の操作ボタン（十字キー）で車の左右の制御を行い、２つのボタンでアクセルとブレーキの操作を行うことがある。この場合、左手で車の方向の制御を行い、アクセル、ブレーキの操作は右手で行うことになる。レースのゲームの場合、アクセルボタンは、連続して押下し続けていることが多く、右手に疲労が蓄積されることがある。

そこで、ユーザは、左右の手の役割を変更することが考えられる。そのとき、図２３（ｂ−１）および（ｂ−２）のように逆持ちをした場合には、十字キーについては、車の左右の制御を行うため、決まっているが、アクセル、ブレーキのコントローラの割当てに関しては、ユーザの使いやすい方を設定できるようにしてもよい。具体的には、ゲームを行っている最中に、持ち替えが発生した場合には、アクセル、ブレーキキーに関しては、ユーザの確認をとる画面を表示した後に、キーの割当てを実施してもよい。図２３（ｂ−１）および（ｂ−２）は、キーの割当て例を示す。

なお、実施の形態１においては、順持ち、逆持ちに応じてボタンの割当ての変更を実施したが、表示部が装着されているコントローラにおいては画像の反転も必要になる。例えば、図２４（ａ）および（ｂ）に示すように、順もちのとき（図２４（ａ））と逆もちのとき（図２４（ｂ））で、画像を表示させる方向が異なることとなる。なお、コントローラ１にジャイロセンサーなどの姿勢センサーを設け、順持ち、逆持ちの判定に際して、センサーの検出結果を、生体信号とともに用いてもよい。これにより、順持ち、逆持ちの判定精度を向上させることが可能である。

上述の実施の形態（たとえば図８）では、情報処理装置２が生体信号処理部２３を有し、生体信号処理部２３において、心電成分の抽出、心電成分の正方向／負方向の判定、およびボタン割り当ての変更の各処理を行うとした。しかしながら、それらの処理はコントローラ１において行われてもよい。

図２５は、図８の構成の変形例を示す。本変形例にかかる情報処理システムは、コントローラ２４１および情報処理装置２４２を有する。コントローラ２４１は図８のコントローラ１に対応し、情報処理装置２４２は、図８の情報処理装置２に対応する。

本変形例では、コントローラ２４１において心電成分の抽出、心電成分の正方向／負方向の判定、およびボタン割り当ての変更の各処理を行う。そのため、情報処理装置２（図８）に包含されていた生体信号処理部２３は、本変形例ではコントローラ２４１に設けられている。また、図８の生体信号出力部１５、および生体信号取得部２２は存在しない。コントローラ２４１に設けられた生体信号処理部２３の具体的な構成および動作は、図１２に示す通りであるため、それらの説明は省略する。

コントローラ２４１は、操作入力装置２４１ａおよび生体信号計測装置２４１ｂを有する。

操作入力装置２４１ａの操作信号出力部２４１２は、操作入力部１１からの操作信号と、生体信号処理部２３からのボタン割り当て変更ルールを示す信号とを受け取る。そして、操作信号出力部２４１２は、ボタン割り当て変更ルールにしたがって操作信号の変更を行い、変換後の操作信号を情報処理装置２４２に出力する。

操作信号取得部２１は、操作信号を取得してアプリケーション処理部２４に送信する。アプリケーション処理部２４は、受け取った操作信号にしたがって処理を行う。以降の処理の説明は既に説明した通りである。

なお、説明の便宜のため、表示部３（図１）に対応する構成の記載は、図２５では省略している。表示部は含まれていてもよいし、含まれていなくてもよい。

上述の実施の形態では、コントローラ１の例として、スティック型（図２（ａ））、パッド型（図２（ｂ））、タブレット型（図１７Ｂ）を挙げた。しかしながら、これらは一例である。さらに他の例として、たとえばアタッチメントにスマートフォンをはめ込むことによって完成されるコントローラ１が考えられる。

図２６は、アタッチメント２５０、およびスマートフォン２５１を組み合わせたコントローラ１の例を示す。アタッチメント２５０の操作面４３上に、操作ボタン４１、４２が設けられ、その背面または上側面には、図３、図４と同様の電極（図示せず）が設けられている。スマートフォン２５１のディスプレイが上述の表示部４７に該当する。アタッチメント２５０とスマートフォン２５１とは有線または無線で接続され、操作ボタン４１、４２による操作は、スマートフォン２５１またはアタッチメント２５０に設けられた通信機能により、情報処理装置２に送信される。このようなコントローラ１であれば、電極や操作ボタン４１、４２を有していないスマートフォンのユーザが、必要な時だけ、電極や操作ボタンを利用してゲームを行うことが可能となる。

なお、図２６には、スマートフォン２５１の側面および背面の全てを覆うアタッチメント２５０を例示したが、これは一例である。たとえば、操作ボタン４１、４２を表示部４７に表示させ、タッチスクリーンパネルを利用した入力を実現することにより、操作ボタン４１、４２をハードウェアとして設ける必要がなくなる。そして、電極が設けられた、スマートフォン２５１の背面または上側面の一部のみを覆うシート状の部材（図示せず）と、スマートフォン２５１とによってコントローラ１が構成されてもよい。

図２７は、実施の形態１または２にかかる情報処理システムの変形例である情報処理システム２００の構成を示す。情報処理システム２００では、左手用電極４８と右手用電極４９とが背面に貼り付けられたスマートフォン２５１が、図１のコントローラ１として機能する。また、インターネット等のネットワーク２６３を介してコントローラ１と通信するサーバ装置２６２が、図１の情報処理装置２として機能する。なお、図１の表示装置３は、スマートフォン２５１の表示部４８に相当する。

このような情報処理システム２００では、スマートフォン２５１での操作がサーバ装置２６２に送信され、サーバ装置２６２においてユーザの操作、および生体信号が処理される。

サーバ装置２６２は、処理の結果に基づいて、スマートフォン２５１の表示部４８に表示させるためのデータをスマートフォン２５１に送信する。スマートフォン２５１はそのデータを受信して表示部４８に表示する。ユーザの操作、および生体信号や、その処理の内容は、たとえば図８、および図１１を参照しながら説明した通りである。

図２７に示すコントローラ１に代えて、図２５に示すコントローラ２４１を用いることも可能である。その場合には、生体信号はコントローラ２４１において処理され、操作信号がサーバ装置２６２に送信されることになる。

なお、上述の実施の形態の説明では、操作ボタンとは別に電極を設けた。しかしながら、これも一例である。操作ボタンと電極とを一体化させてもよい。たとえば操作ボタン上に電極を貼り付けてもよいし、操作ボタンを導電性材料で製造してもよい。

本開示にかかる情報処理システムによれば、情報処理装置を操作するコントローラの持ち方が順持ちであっても逆持ちであっても、ユーザの好みの持ち方に応じて、一貫した操作性が提供できるため、両手でコントローラを操作するあらゆる情報処理装置に対して応用可能である。具体的には、テレビ、パソコン、ゲーム機、スマートフォン、携帯電話等において、生体センサが搭載されたコントローラを備えた機器であれば応用可能である。

１ａ 操作入力装置
１ｂ 生体信号計測装置
１１ 操作入力部
１３ 電極部
１４ 生体信号増幅部
１５ 生体信号出力部
２１ 操作信号取得部
２２ 生体信号取得部
２３ 生体信号処理部
２４ アプリケーション処理部
２５ 表示情報出力部
２６ 音響情報出力部
７５ 表示情報出力回路
７７ 音響情報出力回路

Claims (15)

1. ユーザが右手及び左手で把持する筐体で構成され、複数の操作部を有する電子機器であって、
   前記筐体を把持する前記ユーザの右手及び左手に接触する位置に設置されている第１の電極及び第２の電極と、
   前記第１の電極および前記第２の電極の電位差から、前記ユーザの心電成分を抽出する抽出部と、
   予め保持する心電成分の電位に関する基準を参照して、前記抽出部によって抽出された前記心電成分が正方向であるか負方向であるかを判定する判定部と、
   前記判定部による判定の結果に応じて、前記複数の操作部の各々と、各操作によって生成される各操作信号との割り当てを変更する変更部であって、前記判定結果が正方向の場合、前記複数の操作部の各々と各操作信号とを第１の関係で割り当て、前記判定結果が負方向の場合、前記第１の関係と異なる、前記複数の操作部の各々と各操作信号とを第２の関係で割り当てる変更部と
   を備える、電子機器。
2. 前記抽出部は、前記心電成分としてＲ波を抽出する、請求項１に記載の電子機器。
3. 前記判定部は、前記心電成分としてさらにＱ波を抽出し、ＱＲ成分の変化の方向によって、正方向であるか負方向であるかを判定する、請求項２に記載の電子機器。
4. 前記抽出部は、前記心電成分としてＴ波を抽出し、
   前記判定部は、前記Ｔ波が上向きのピークを持つか、下向きのピークを持つかによって、正方向であるか負方向であるかを判定する、請求項１に記載の電子機器。
5. 前記カーソルの移動方向指示ボタンを含み、
   前記変更部は、前記移動方向指示ボタンの各方向と各操作信号との割り当てを変更する、請求項１に記載の電子機器。
6. 前記移動方向指示ボタンは、上下左右の４方向にカーソルを移動させることが可能なボタンであり、
   前記変更部は、
   前記第１の関係にしたがって、上方向の操作に第１操作信号を割り当て、下方向の操作に第２操作信号を割り当て、
   前記第２の関係にしたがって、前記上方向の操作に前記第２操作信号を割り当て、前記下方向の操作に前記第１操作信号を割り当てる、請求項５に記載の電子機器。
7. 前記移動方向指示ボタンは、上下左右の４方向にカーソルを移動させることが可能なボタンであり、
   前記変更部は、
   前記第１の関係にしたがって、左方向の操作に第３操作信号を割り当て、右方向の操作に第４操作信号を割り当て、
   前記第２の関係にしたがって、前記左方向の操作に前記第４操作信号を割り当て、前記右方向の操作に前記第３操作信号を割り当てる、請求項５に記載の電子機器。
8. 前記第１の電極、および、前記第２の電極の電位差が所定以上になったことを検出したタイミングを、前記ユーザが前記筐体を両手で把持したタイミングであるとして検出する把持検出部をさらに備えた、請求項１に記載の電子機器。
9. 前記抽出部および前記判定部は、前記タイミングから、各々の処理を開始する、請求項８に記載の電子機器。
10. 前記判定部による処理の開始後、前記判定の結果が得られるまでの間、前記変更部は、前記複数の操作部の各々と各操作信号とを予め定められた関係を有する割り当てに変更し、
    前記判定の結果が得られた後は、前記複数の操作部の各々と各操作信号とを前記判定の結果に応じた関係を有する割り当てに変更する、請求項１に記載の電子機器。
11. 前記変更部は、現在実行されているアプリケーションソフトウェアの情報を受信して、割り当て内容を変更する、請求項１に記載の電子機器。
12. 前記複数の操作部のいずれかの操作に基づく操作信号を、外部の情報処理装置に出力する操作信号出力部をさらに備えた、請求項１に記載の電子機器。
13. 複数の操作部を有する電子機器からの操作信号を受信する操作信号取得部と、
    前記電子機器から送信された前記ユーザの生体信号を取得する生体信号取得部であって、前記生体信号は、前記電子機器の筐体を把持する前記ユーザの右手及び左手に接触する位置に設置されている第１の電極及び第２の電極の電位差から得られる信号である、生体信号取得部と、
    取得した前記生体信号から、前記ユーザの心電成分を抽出する抽出部と、
    予め保持する心電成分の電位に関する基準を参照して、抽出された前記心電成分が正方向であるか負方向であるかを判定する判定部と、
    前記判定部による判定の結果に応じて、前記複数の操作部の各々と、各操作によって生成される各操作信号との割り当てを変更する変更部であって、前記判定結果が正方向の場合、前記複数の操作部の各々と各操作信号とを第１の関係で割り当て、前記判定結果が負方向の場合、前記第１の関係と異なる、前記複数の操作部の各々と各操作信号とを第２の関係で割り当てる変更部と
    を備える、情報処理装置。
14. 電子機器を用いた情報処理方法であって、
    前記電子機器は、ユーザが右手及び左手で把持する筐体で構成され、複数の操作部、および前記筐体を把持する前記ユーザの右手及び左手に接触する位置に設置されている第１の電極及び第２の電極を備えており、
    前記第１の電極および前記第２の電極の電位差から、前記ユーザの心電成分を抽出するステップと、
    予め保持する心電成分の電位に関する基準を参照して、抽出する前記ステップによって抽出された前記心電成分が正方向であるか負方向であるかを判定するステップと、
    判定する前記ステップによる判定の結果に応じて、前記複数の操作部の各々と、各操作によって生成される各操作信号との割り当てを変更するステップであって、前記判定結果が正方向の場合、前記複数の操作部の各々と各操作信号とを第１の関係で割り当て、前記判定結果が負方向の場合、前記第１の関係と異なる、前記複数の操作部の各々と各操作信号とを第２の関係で割り当てるステップと
    を包含する、情報処理方法。
15. 電子機器に設けられたコンピュータによって実行されるコンピュータプログラムであって、
    前記電子機器は、ユーザが右手及び左手で把持する筐体で構成され、複数の操作部、および前記筐体を把持する前記ユーザの右手及び左手に接触する位置に設置されている第１の電極及び第２の電極を備えており、
    前記コンピュータプログラムは、前記コンピュータに対し、
    前記第１の電極および前記第２の電極の電位差から、前記ユーザの心電成分を抽出するステップと、
    予め保持する心電成分の電位に関する基準を参照して、抽出する前記ステップによって抽出された前記心電成分が正方向であるか負方向であるかを判定するステップと、
    判定する前記ステップによる判定の結果に応じて、前記複数の操作部の各々と、各操作によって生成される各操作信号との割り当てを変更するステップであって、前記判定結果が正方向の場合、前記複数の操作部の各々と各操作信号とを第１の関係で割り当て、前記判定結果が負方向の場合、前記第１の関係と異なる、前記複数の操作部の各々と各操作信号とを第２の関係で割り当てるステップと
    を実行させる、コンピュータプログラム。

Images