JP2005018167A

JP2005018167A - 生体反応利用機器制御装置及び機器の制御方法

Info

Publication number: JP2005018167A
Application number: JP2003178581A
Authority: JP
Inventors: Minoru Sasaki; 佐々木　　実; Kiyouko Sai; 京虎崔; Eiji Wada; 栄治和田; Yoshiatsu Ikeura; 良淳池浦; Seitetsu Tanaka; 靖哲田中; Haruhide Kikuchi; 春秀菊地; Masashi Nakamura; 正士中村
Original assignee: DENSAN SYSTEM CO Ltd; Softopia Japan Foundation
Current assignee: DENSAN SYSTEM CO Ltd; Softopia Japan Foundation
Priority date: 2003-06-23
Filing date: 2003-06-23
Publication date: 2005-01-20

Abstract

【課題】操作者の無意識による生体信号と、意識的な生体信号の発生とを識別でき、機器の誤動作を防止する生体反応利用機器制御装置及び機器の制御方法を提供する。
【解決手段】制御装置１００は、生体反応を検出する生体反応検出装置２００と、生体反応検出装置２００が検出した信号に基づいて、生体反応の時系列的な組み合わせ単位を判定するコンピュータ６００とを備えている。そして、コンピュータ６００は、判定された生体反応の時系列的な組み合わせ単位の種類に応じてＣＤプレーヤ９００（機器）の制御信号を出力する。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、生体反応を利用して機器を制御可能な生体反応利用機器制御装置及び機器の制御方法に関するものである。
【０００２】
【従来の技術】
生体反応のうち電気的現象としては、脳波（ＥＥＧ）、眼電（ＥＯＧ）、筋電（ＥＭＧ）等があり、その他のものには皮膚電気反射（ＧＳＲ）、血圧、呼吸運動等がある。これらの生体反応を利用して機器操作を行う技術が従来から提案されている。例えば、マニピュレータ、ポインタや義手の制御装置において、筋電、眼電、及び脳波を個々に検出し、その検出信号に応じて制御信号に変換し、同制御信号に基づいて機器を操作するようにしたものである。
【０００３】
なお、本発明のように、生体反応を複合的に利用して機器制御に用いた事例は従来技術としては見あたらなかった。
【０００４】
【発明が解決しようとする課題】
しかし、生体反応は無意識のうちに発生するため、単独の生体反応を利用して機器操作を行うと、誤動作が発生しやすい問題がある。
【０００５】
本発明は上記問題点を解決するためになされたものであって、その目的は、操作者の無意識による生体信号と、意識的な生体信号の発生とを識別でき、機器の誤動作を防止する生体反応利用機器制御装置及び機器の制御方法を提供することにある。
【０００６】
【課題を解決するための手段】
上記問題点を解決するため、請求項１記載の発明は、生体反応を検出する生体反応検出手段と、前記生体反応検出手段が検出した信号に基づいて、生体反応の時系列的な組み合わせ単位を判定する単位判定手段と、前記単位判定手段によって判定された生体反応の時系列的な組み合わせ単位の種類に応じて機器の制御信号を出力する制御信号生成手段とを備えたことを特徴とする生体反応利用機器制御装置を要旨とするものである。
【０００７】
請求項２の発明は、請求項１において、前記生体反応検出手段は、操作者の脳波、眼電、筋電の中から少なくとも１つを検出することを特徴とする。
請求項３の発明は、請求項１において、訓練モードに設定する訓練モード設定手段と、訓練モード時に、操作者に複数の生体反応の時系列的な組み合わせをガイドして、該複数の生体反応の生成を促すガイド手段と、訓練モード時に、前記生体反応検出手段が検出した信号に基づいて、複数の生体反応の時系列的な組み合わせ単位を判定し、その判定結果と、前記ガイド手段が促した複数の生体反応の時系列的な組み合わせ単位とが合致するか否かを判断する判定手段と、前記判定手段の合致判断結果を報知する報知手段とを備えたことを特徴とする。
【０００８】
請求項４の発明は、請求項１において、生体反応の時系列的な組み合わせ単位を第１インデックスとし、かつ、機器の操作項目を第２インデックスとしたとき、互いに異なる複数の前記第１インデックスと、互いに異なる複数の前記第２インデックスとを記憶する第１記憶手段と、前記複数の第１インデックス及び複数の第２インデックスの中から、それぞれ特定のインデックスを選択する選択手段と、前記選択手段の選択に基づいて、特定された第１インデックスと第２インデックスとを関連付けする関連付け手段と、前記関連付け手段にて関連付けされた両インデックスデータを記憶する第２記憶手段と、前記単位判定手段が生体反応の時系列的な組み合わせ単位を判定した際に、その判定した生体反応の時系列的な組み合わせ単位に対応する第１インデックスがあるか否かを前記互いに関連付けされた両インデックスデータ中から探索する探索手段とを備え、前記制御信号生成手段は、前記探索手段が探索して得られた第１インデックスと関連付けされた第２インデックスに対応する機器の制御信号を出力することを特徴とする。
【０００９】
請求項５の発明は、請求項４において、前記第２記憶手段を着脱可能に装着する装着手段を備えたことを特徴とする。
請求項６の発明は、生体反応を検出する生体反応検出ステップと、前記生体反応検出検出ステップで検出した信号に基づいて、生体反応の時系列的な組み合わせ単位を判定する単位判定ステップと、前記単位判定ステップによって判定された生体反応の時系列的な組み合わせ単位の種類に応じて機器の制御信号を出力する制御信号生成ステップとを備えたことを特徴とする機器の制御方法を要旨とするものである。
【００１０】
請求項７の発明は、請求項６において、前記生体反応検出ステップは、操作者の脳波、眼電、筋電の中から少なくとも１つを検出することを特徴とする。
【００１１】
【発明の実施の形態】
以下、本発明を具体化した生体反応利用機器制御装置（以下、単に制御装置という）を図１〜図２２を参照して説明する。
【００１２】
図１に示すように制御装置１００は、生体反応検出装置２００、プロセッサーボックス３００、インターフェイス５００、コンピュータ６００、キーボードやマウスを備えた入力装置６２０、ディスプレイ７００、リモートコントローラ８００を備えている。生体反応検出装置２００は生体反応検出手段に相当する。又、ディスプレイ７００は、報知手段、ガイド手段に相当する。
【００１３】
生体反応検出装置２００は、図２に示すようにヘッドホーン形に形成され、左右一対のイヤーパッド２０１がヘッドバンド２０２を介して連結されている。又、ヘッドバンド２０２の基端間は、図３に示すように円弧状の電極支持板２０４が連結されている。電極支持板２０４は、生体反応検出装置２００を装着時（図４参照）に、操作者Ｈの額に沿うように可撓性を有する絶縁性合成樹脂にて形成されている。電極支持板２０４の内面には、複数の電極Ｆｐ１，Ｆｐ２，Ｆ７，Ｆ８，Ｇが取着されている。又、左右のイヤーパッド２０１の内面には、電極Ｅｒ１，Ｅｒ２，Ｅｌ１，Ｅｌ２，Ａ１，Ａ２がそれぞれ取着されている。
【００１４】
各電極の取付位置について説明する。図５は国際脳波・臨床生理学会連合標準電極配置法により、学会基準として定められている、「１０−２０法」の電極配置図であり、符号１〜２０が脳波測定のためにそれぞれ電極を配置する箇所を示す。そのうち、本実施形態では、符号１，２には電極Ｆｐ１、Ｆｐ２が、符号１３，１４には電極Ｆ７，Ｆ８が対応するように電極支持板２０４にそれぞれ配置されている。又、グランド電極となる電極Ｇは図５に示すように額部分の中央に対応位置するように電極支持板２０４の長手方向の中央部に取着されている。
【００１５】
又、左右のイヤーパッド２０１内面には、生体反応検出装置２００の装着時に両耳の前後にそれぞれ位置するように電極Ｅｒ１，Ｅｒ２，Ｅｌ１，Ｅｌ２が取着されている。又、グランド電極となる電極Ａ１，Ａ２は両耳たぶに接触可能に左右のイヤーパッド２０１内面に対し配置されている。
【００１６】
ここで、前記各電極が検出する生体反応について説明する。
脳波は、その周波数の帯域から、δ波（４Ｈｚ以下）、θ波（４〜８Ｈｚ）、α波（８〜１３Ｈｚ）、β波（１４〜３０Ｈｚ）、γ波（３０Ｈｚ以上）の５つに分類される。δ波とθ波は、眠気や意識レベルの低下した状態のときに優勢となる。α波は目を閉じて光刺激を遮断したとき、精神的に落ち着いた状態やぼんやりした状態のときに優勢となり、規則的な波形となる。β波やγ波は意識レベルの高い状態や興奮した状態のときに現れる。本実施形態では、特に電極Ｆｐ１，Ｆｐ２，Ｆ７，Ｆ８及び電極Ｇを脳波検出用の電極としている。
【００１７】
筋電図（ＥＭＧ）は、骨格筋の収縮に伴う、筋繊維から発生する活動電位を記録したものをいう。骨格筋の収縮が大きいほど、活動電位も高まるため、筋電によって、筋の収縮の程度が分かる。本実施形態では、この筋繊維から発生する活動電位を筋電という。本実施形態では、特に電極Ｅｒ１，Ｅｒ２，Ｅｌ１，Ｅｌ２、及び電極Ａ１，Ａ２を筋電用の検出電極としている。
【００１８】
プロセッサーボックス３００は、前記各電極が検出した検出信号（生体信号）を取込んでデジタル化し、インターフェイス５００との間で送信を行う。インターフェイス５００はコンピュータ６００に対し、前記各電極が検出した検出信号（生体信号）を入力する。
【００１９】
コンピュータ６００は、ＣＰＵ、ＲＯＭ、ＲＡＭ（ともに図示しない）及び記憶装置６１０を備えている。コンピュータ６００（ＣＰＵ）は、記憶装置６１０に格納された制御プログラムに基づいて、生体反応検出装置２００からの検出信号（生体信号）を種々の解析方法により分析し、各検出信号（生体信号）の値に基づいて操作者の生体反応を検出する。そして、コンピュータ６００（ＣＰＵ）は生体反応の時系列的な組み合わせ単位を判定し、その組み合わせ単位の種類に関連付けられた制御信号をリモートコントローラ８００に出力する。リモートコントローラ８００は、その制御信号を機器（機器）としてのＣＤプレーヤ９００に送信する。ＣＤプレーヤ９００は、その制御信号に基づき、電源オンオフ、再生、停止、一時停止、ボリュームアップ、ボリュームダウン、次のトラック移動、前のトラック移動等を行う。
【００２０】
又、第２記憶手段としてのＵＳＢメモリ９１０はコンピュータ６００に接続されたＵＳＢメモリ用のコネクタ９２０に着脱自在に接続される。コネクタ９２０は装着手段に相当する。ＵＳＢメモリ９１０は、コンピュータ６００によりデータの書き込み、読出が可能とされている。ディスプレイ７００は、コンピュータ６００から出力された各種の表示データを表示する。
【００２１】
次に、上記のように構成された制御装置１００の作用を図６〜図２２を参照して説明する。図６〜図１１はコンピュータ６００が処理する制御プログラムのフローチャートであり、図１２〜図２２はコンピュータ６００がディスプレイ７００の画面７１０に表示制御した状態を示す。なお、図４に示すように操作者Ｈが生体反応検出装置２００を装着した状態であるものとする。
【００２２】
制御装置１００を起動すると、Ｓ１０では、初期化を行い、Ｓ２０では、図１２に示すようにディスプレイ７００の画面７１０上に、ＵＳＢメモリ９１０の挿入を促す文３１を表示して、ＵＳＢメモリ９１０がコネクタ９２０に接続されたか否かを判定する。ＵＳＢメモリ９１０がコネクタ９２０に接続されると、Ｓ３０において、図１３に示すようにユーザ名入力を促す文３２及びユーザ名入力欄３３を表示する。入力装置６２０にてユーザ名入力がユーザ名入力欄に対し行われると、Ｓ４０に移行する、なお、図１３の画面上に表示された登録ボタン３４を図示しないマウスにて操作すると（Ｓ９０）、ユーザ名入力欄３３に入力されたユーザ名が、ＲＡＭや記憶装置６１０に格納され、Ｓ１００に移行する。なお、登録ボタン３４を始めとして各種のボタンの操作は、図示しないマウスで操作されるものであるため、以下の説明では、各種のボタン操作は説明の便宜上、単にボタンを操作するとの表現を使用する。
【００２３】
Ｓ４０では、コンピュータ６００は画面７１０上に図１４に示すようにメニュー表示を行う。メニュー表示は、生体信号の発生方法のガイドボタン５０，訓練モードボタン５１、生体信号とＣＤプレーヤの操作関連付けボタン５２、仮想ＣＤプレーヤ操作ボタン５３、終了ボタン５４が表示される。ガイドボタン５０を操作すると、Ｓ５０に移行し、図１５に示すようにコンピュータ６００は生体信号の発生方法についての解説のための画面を表示する。すなわち、画面７１０上で、「まばたき＋まばたき」、「まばたき＋まばたき＋かみしめる」、「目を閉じて開く」、「目を閉じて開き、かみしめる」、「かみしめて、ぼんやりする」、及び「かみしめて、一点を見る」の生体信号の発生方法に関する各説明ボタン６０〜６５を表示する。
【００２４】
この説明ボタン６０〜６５のいずれかのボタンを操作すると、コンピュータ６００は操作された説明ボタンに応じてディスプレイ７００の画面７１０を図示しない説明文に表示を変え、知りたい生体信号の発生方法の説明を行う。そして、操作者Ｈは、画面７１０上に表示された復帰ボタン６６を操作すると、コンピュータ６００は図１４のメニュー表示画面に復帰表示し、Ｓ４０に戻る。
【００２５】
Ｓ４０において訓練モードボタン５１を操作すると、Ｓ６０に移行し、コンピュータ６００は、図１６に示すように、「生体信号の名称」の欄７１及び「検出」の欄７２を表示する。前記「生体信号の名称」の欄７１は、「まばたき＋まばたき」、「まばたき＋まばたき＋かみしめる」、「目を閉じて開く」、「目を閉じて開き、かみしめる」、「かみしめて、ぼんやりする」、及び「かみしめて、一点を見る」を備える。「まばたき＋まばたき」、「まばたき＋まばたき＋かみしめる」、「目を閉じて開く」、「目を閉じて開き、かみしめる」、「かみしめて、ぼんやりする」、及び「かみしめて、一点を見る」は、それぞれ生体反応の時系列的な組み合わせ単位を構成している。又、「検出」の欄７２には、通常は消灯したランプマークが表示されており、対応する生体信号の時系列的な組み合わせ単位が検出された場合、点灯したランプマークが表示される。すなわち、欄７２は各「生体信号の名称」に対応して、その項目に関する生体信号の時系列的な組み合わせ単位（生体反応の時系列的な組み合わせ単位）が検出できたか否かの結果を表示するためのものである。
【００２６】
図７は、訓練モードの検出処理のフローチャートである。この訓練モードにおいて、操作者Ｈは、「生体信号の名称」の欄７１に記載の生体反応の時系列的な組み合わせ単位の全部、或いは一部を試して実行する（図７のＳ６１０）。
【００２７】
ここで、上記項目に関する生体反応の検出について説明する。本実施形態では、生体反応を生体反応検出装置２００にて検出して入力した生体信号を各周波数領域におけるパワー変化等により、操作者Ｈの動作や思考の特定を行うものである（Ｓ６２０，Ｓ６３０）。
【００２８】
なお、下記の「まばたき（両眼）」、「かみしめ」、「一点を見る」、「ぼんやり」を検出する場合、コンピュータ６００は生体信号のサンプリングデータから、顔のどの部分の筋肉をどのように動かしたかを検出するために、コンピュータ６００は、公知の離散フーリエ変換を行い、その各周波数成分の強度を評価する。
【００２９】
そして、コンピュータ６００は「まばたき（両眼）」については、１〜３Ｈｚの低周波数成分で特徴が出るため、所定の閾値を設定して、検出を行う。この「まばたき」の検出を後述の説明では「Ｂ」の検出ということがある。又、コンピュータ６００は「かみしめ」については、２５〜５０Ｈｚの成分で特徴が出るため、前記周波数成分範囲の強度をかみしめを検出するために設定された所定の閾値にて評価する。この「かみしめ」の検出を後述の説明では「Ｊ」の検出ということがある。
【００３０】
コンピュータ６００は、「一点を見る」については、１４〜２５Ｈｚを成分とするβ波領域でのパワー変化を、所定の閾値を設定することにより、検出を行う。すなわち、「一点を見る」はβ波領域の１４〜２５Ｈｚで特徴が出るため、コンピュータ６００は、β波用に設定された所定の閾値にて、同閾値を超える区間が連続して数秒間継続するとき、集中と検出する。この「一点を見る」の検出を後述の説明では「Ｃｏｎｃｅｎｔｒａｔｉｏｎ」の検出ということがある。
【００３１】
又、コンピュータ６００は、「ぼんやり」については、８〜１１Ｈｚを成分とするα波領域でのパワー変化を、所定の閾値を設定することにより、検出を行う。すなわち、「ぼんやり」はα波領域の８〜１１Ｈｚで特徴が出て、しかも他の周波数よりもレベルが高く、１４〜２５Ｈｚのβ波領域は低くなることを利用してコンピュータ６００は、α波領域に設定された所定の閾値にて検出する。この「ぼんやり」の検出を後述の説明では「Ｎｏｔｈｉｎｇ」の検出ということがある。
【００３２】
「目を閉じて開く」については、コンピュータ６００は、下記の通りに処理することにより、検出する。
「目を閉じて開く」の場合に使用する生体信号は、脳波である。この場合、生体信号は、一定間隔でサンプリングされた電位の時系列データであり、コンピュータ６００はこれを一定区間ごとに区切り、高速フーリエ変換処理を行い、パワースペクトラムを算出する。このようにして得られたパワースペクトラムを、コンピュータ６００は、ソフト処理であるニューラルネットワークに入力して心地よさ（リラックス状態）を推定する。このニューラルネットワークは、予めパワースペクトラムと操作者の心理状態との対応が既知であるデータを用いて学習したもので、入力に応じてその時の状態を学習内容に応じて心地よさの程度を数値で出力する公知のものである。なお、ニューラルネットワークは、実際に使用する操作者の脳波を用いて学習しても、予め複数の被験者を対象に採取した脳波を用いて学習してもよい。
【００３３】
そして、コンピュータ６００は、実際に操作者が目を一定時間閉じて開いたときのリラックス状態であるか否かを前記ニューラルネットワークの判定関数を用いて判定するとともに、その状態が、前記一定時間以上継続したか否かを判定する。なお、ニューラルネットワークを用いるのは、目を閉じた場合は目を開けている場合に比べてα波ピークは高くなることが知られており、α波のピークだけではリラックスの度合いの推定が難しいからである。このように「目を閉じて開く」を検出したことを、後述の説明では「Ｅ」の検出ということがある。
【００３４】
次に、Ｓ６３０における生体信号の時系列的な組み合わせ単位の判定を図２３の状態遷移図を参照して説明する。図２３の欄８０中、記号「ＩＤＬＥ」は基底状態、「Ｂ」はまばたきを検出した直後の状態、「ＴＨＩＮＫ」はかみしめを検出した直後の状態、「Ｅ」は目を一定時間閉じて開いた直後の状態、「ＢＢ」は２回連続のまばたきを検出した直後の状態であり、それぞれ状態を表している。
【００３５】
図２３の欄９０は何が検出されたかを示す検出結果の欄である。欄９０中、Ｅは「目を閉じて開く」、Ｊは「かみしめ」、Ｂは「まばたき（両眼）」、Ｎｏｔｈｉｎｇは「ぼんやり」、Ｃｏｎｃｅｎｔｒａｔｉｏｎは「一点を注視し、集中している状態」である。
【００３６】
図２３の欄９５において、「→」は、状態の遷移先を示している。本実施形態では、図２３に示す状態遷移図に従って状態を遷移し、生体信号の時系列的な組み合わせ単位を判定する。
【００３７】
「ＩＤＬＥ（基底状態）」下では、Ｅを検出すると、「Ｅ」の状態に遷移し、「Ｊ」を検出すると、「ＴＨＩＮＫ」の状態に遷移し、「Ｂ」を検出すると、「Ｂ」の状態に遷移する。「Ｂ」の状態下では、Ｂを検出すると、「ＢＢ」の状態に遷移し、一定時間未検出であると「ＩＤＬＥ」の状態に遷移する。
【００３８】
「ＴＨＩＮＫ」の状態下で、Ｅを検出すると、「Ｅ」の状態に遷移し、「Ｂ」を検出すると、「Ｂ」の状態に遷移し、「Ｎｏｔｈｉｎｇ」を検出すると、「Ｎｏｔｈｉｎｇ」と判定した後、「ＩＤＬＥ」の状態に遷移する。又、「ＴＨＩＮＫ」の状態下で、Ｃｏｎｃｅｎｔｒａｔｉｏｎを検出すると、「ＩＤＬＥ」の状態に遷移する。
【００３９】
「Ｅ」の状態下で、Ｊを検出すると、ＥＪと判定、すなわち、「目を閉じて開き、かみしめる」と判定して「ＩＤＬＥ」の状態に遷移する。又、「ＢＢ」の状態下で、Ｊを検出すると、ＢＢＪと判定、すなわち、「まばたき＋まばたき＋かみしめる」と判定し、「ＩＤＬＥ」の状態に遷移する。
【００４０】
操作者Ｈが欄７１に記載のいずれかを試すと、コンピュータ６００は検出（判定）した生体信号の時系列的な組み合わせ単位に対応する欄７２の消灯のランプマークを、点灯したランプマークの表示に変える（Ｓ６４０）。なお、検出されない場合には、欄７２のランプマークは消灯表示のままである。
【００４１】
図１６において、操作者Ｈが、画面７１０上に表示された復帰ボタン７６を操作すると、コンピュータ６００は図１４のメニュー表示画面に復帰表示し、Ｓ４０に戻る。
【００４２】
図１４において、生体信号とＣＤプレーヤの操作関連付けボタン５２を操作すると、Ｓ７０に移行し、コンピュータ６００は、ディスプレイ７００の表示を図１７の表示に変える。
【００４３】
図１７では、「生体信号の名称」の複数の欄８１及び各欄８１に対応して設けられた「ＣＤプレーヤの操作」の複数の欄８２を表示する。「生体信号の名称」の欄８１は前記「生体信号の名称」の欄７１と同様のため説明を省略する。
【００４４】
「ＣＤプレーヤの操作」の欄８２は、この欄をカーソルを当ててマウス（ともに図示しない）にてクリック操作すると、図１７に示すように、ＣＤプレーヤの複数の操作項目がリストアップされたドロップダウンリストが表示される。「ＣＤプレーヤの操作」の欄８２の任意の１つを選択した状態で、欄８２のドロップダウンリストを開き、操作項目の任意の１つを選択すると、欄８２中で選択された１つの生体反応の時系列的な組み合わせ単位と、ＣＤプレーヤ９００（機器）の操作一覧の中の操作項目とが関連付けされる。この場合、選択は入力装置６２０を構成するマウスのクリック操作にて行う。入力装置６２０は選択手段に相当する。関連付けの決定は、図１７に示す復帰ボタン８３の操作で決定される。なお、コンピュータ６００は、前述した生体反応の時系列的な組み合わせ単位を第１インデックスとし、ＣＤプレーヤ９００の各種の操作項目を第２インデックスとすると、これらのインデックスを、それぞれ第１記憶手段としての記憶装置６１０に記憶している。
【００４５】
そして、コンピュータ６００は、前記復帰ボタン８３の操作時に、図８（ａ）に示すように、関連付けされた生体反応の時系列的な組み合わせ単位（第１インデックス）と操作項目（第２インデックス）を、第２記憶手段としてのＵＳＢメモリ９１０にインデックスデータとして格納する。このインデックスデータ格納時に同インデックスデータと、Ｓ３０で、入力されて登録されたユーザ名とを関連付けて同ユーザ名を同じくＵＳＢメモリ９１０に格納する。
【００４６】
又、前記復帰ボタン８３が操作されると同時にコンピュータ６００は図１４のメニュー表示画面に復帰表示し、Ｓ４０に戻る。
図１４において、仮想ＣＤプレーヤ操作ボタン５３を操作すると、Ｓ８０に移行し、コンピュータ６００は、ディスプレイ７００の表示を図１８の表示に変える。このとき、図８（ｂ）のＳ７２０に示すように、コンピュータ６００は、ＵＳＢメモリ９１０から、関連付けされたインデックスデータを読み出し、ＲＡＭに格納する。
【００４７】
図１８では、前記ＵＳＢメモリ９１０から読み出したインデックスデータに基づいて、「コントロール（操作項目）の名称」の欄８５及びそのコントロールと関連付けされた「生体信号の組み合わせ単位」の欄８６を表示する。図１８では、「生体信号の組み合わせ単位」の欄８６は操作項目と関連付けされたもののみが図示されている。
【００４８】
図１８がディスプレイ７００の画面７１０に表示された状態で、操作者Ｈが欄８６に表示された生体信号の組み合わせ単位を実行すると、コンピュータ６００は図９に示すようにＳ８１０では、生体信号を取得し、Ｓ８２０で、取得した生体信号の判定、すなわち、生体反応の組み合わせ単位を判定する。この判定の仕方は、前述した通りであるため、説明を省略する。そして、コンピュータ６００は、Ｓ８３０において、生体反応の組み合わせ単位に応じたＣＤプレーヤの操作状態を示すイメージを画面７１０のイメージ表示領域７１０ａに表示する。
【００４９】
又、図１８の表示状態で、復帰ボタン８７を操作すると、コンピュータ６００は図１４のメニュー表示画面に復帰表示し、Ｓ４０に戻る。そして、図１４の表示状態で、終了ボタン５４を操作すると、コンピュータ６００はＳ１００に移行して、図１９の表示に変え、ＵＳＢメモリ９１０をコネクタ９２０から外すことをガイド表示し、Ｓ１１０において、ＵＳＢメモリ９１０が外されたか否かを判定する。Ｓ１１０において、ＵＳＢメモリ９１０が外されると、コンピュータ６００はこのフローチャートを終了する。
【００５０】
次に、実際にＣＤプレーヤ９００を操作する場合について説明する。
図１０及び図１１は、コンピュータ６００が実行処理するＣＤプレーヤの操作制御プログラムのフローチャートである。
【００５１】
制御装置１００を起動すると、Ｓ３００では、初期化を行い、Ｓ３１０では、図２０に示すようにディスプレイ７００の画面７１０上に、ＵＳＢメモリ９１０を促す文１３１を表示して、ＵＳＢメモリ９１０がコネクタ９２０に接続されたか否かを判定する。
【００５２】
ＵＳＢメモリ９１０がコネクタ９２０に接続されると、ＵＳＢメモリ９１０に格納されたインデックスデータと、同インデックスデータと関連付けされたユーザ名とを読み出し、ＲＡＭに格納する。前記インデックスデータは、前記Ｓ７１０において関連付けされたインデックスデータである。
【００５３】
そして、Ｓ３２０において、コンピュータ６００は、図２１に示すように、ユーザ名表示領域７１０ｂに前記ユーザ名を表示し、コントロール表示欄１５０と、生体反応の組み合わせの表示欄１５１に互いに関連付けされた操作項目と、生体反応の組み合わせ単位を表示する。又、コンピュータ６００は、ＣＤプレーヤ９００の状態表示を状態表示領域１５３に表示する。
【００５４】
Ｓ３３０で、ディスプレイ７００の画面７１０に表示された生体反応の組み合わせ単位を操作者Ｈが、実行すると、図１１に示すＳ９１０〜Ｓ９３０の処理をコンピュータ６００が行う。この各ステップの処理のうち、Ｓ９１０，Ｓ９２０は図９で説明したＳ８１０，Ｓ８２０と同じであるため、説明を省略する。Ｓ９３０では、生体反応の組み合わせ単位に応じたＣＤプレーヤの操作状態を示すイメージを画面７１０の状態表示領域１５３に表示するとともに、そのＣＤプレーヤの操作状態に応じた制御信号をリモートコントローラ８００に出力する。リモートコントローラ８００は、その制御信号をＣＤプレーヤ９００に出力して、ＣＤプレーヤ９００を操作する。
【００５５】
図２１の画面７１０に表示された終了ボタン１５４を図示しないマウスにて操作すると（Ｓ３４０）、Ｓ３５０に移行する。Ｓ３５０では、コンピュータ６００は図２１の表示から図２２に示す表示に変え、ＵＳＢメモリ９１０をコネクタ９２０から外すことをガイド表示し、ＵＳＢメモリ９１０が外されたか否かを判定する。Ｓ３５０において、ＵＳＢメモリ９１０が外されると、コンピュータ６００はこのフローチャートを終了する。
【００５６】
上記実施の形態によれば、以下（１）〜（４）に示す効果を有する。
（１）本実施形態の制御装置１００は、生体反応を検出する生体反応検出装置２００（生体反応検出手段）と、生体反応検出装置２００が検出した信号に基づいて、生体反応の時系列的な組み合わせ単位を判定するコンピュータ６００（単位判定手段）とを備えている。そして、コンピュータ６００は、判定された生体反応の時系列的な組み合わせ単位の種類に応じてＣＤプレーヤ９００（機器）の制御信号を出力する制御信号生成手段として機能する。
【００５７】
又、本実施形態の機器の制御方法では、まず、生体反応を検出し（生体反応検出ステップ）、次に、前記ステップで検出した信号に基づいて、生体反応の時系列的な組み合わせ単位を判定した（単位判定ステップ）。そして、前記ステップによって判定された生体反応の時系列的な組み合わせ単位の種類に応じて機器の制御信号を出力する（制御信号生成ステップ）ようにした。
【００５８】
この結果、制御装置１００及び機器の制御方法では、生体反応の組み合わせ単位を検出することによって、操作者の無意識による生体信号と、意識的な生体信号の発生とを識別でき、機器の誤動作を防止することができる。
【００５９】
このため、本技術は日常生活に生体反応を利用した製品が普及していくなかで、欠かすことができない技術となりうる。又、操作者Ｈに障害などにより、通常の機器操作に支障がある場合、本制御装置１００によって、誤作動が少ない安定した操作機能を提供することができる。
【００６０】
（２）本実施形態の制御装置１００のコンピュータ６００は、訓練モードボタン５１を操作すると、訓練モードに設定する訓練モード設定手段とした。そして、訓練モード時に、操作者Ｈに複数の生体反応の時系列的な組み合わせをガイドして、該複数の生体反応の生成を促すディスプレイ７００をガイド手段とした。又、訓練モード時に、コンピュータ６００（生体反応検出手段）が検出した信号に基づいて、複数の生体反応の時系列的な組み合わせ単位を判定するようにした。又、コンピュータ６００は、その判定結果と、ディスプレイ７００が促した複数の生体反応の時系列的な組み合わせ単位とが合致するか否かを判断する判定手段として機能する。そして、制御装置１００は、コンピュータ６００（判定手段）の合致判断結果を、「検出」の欄７２において、生体信号の時系列的な組み合わせ単位が検出された場合、点灯したランプマークが表示されるようにして報知するディスプレイ７００（報知手段）を備える。
【００６１】
この結果、訓練モードにおいて、コンピュータ６００が生体反応の組み合わせ単位が検出できるまで、操作者Ｈは、生体反応の発生の訓練を好適に受けることができる。
【００６２】
（３）本実施形態の制御装置１００は、生体反応の時系列的な組み合わせ単位を第１インデックスとし、かつ、機器の操作項目を第２インデックスとしたとき、互いに異なる複数の前記第１インデックスと、互いに異なる複数の前記第２インデックスとを記憶する記憶装置６１０（第１記憶手段）を備える。又、制御装置１００は、複数の第１インデックス及び複数の第２インデックスの中から、それぞれ特定のインデックスを選択する入力装置６２０（選択手段）と、入力装置６２０の選択に基づいて、特定された第１インデックスと第２インデックスとを関連付けするコンピュータ６００（関連付け手段）を備える。又、制御装置１００は、関連付けされた両インデックスデータを記憶するＵＳＢメモリ９１０（第２記憶手段）を備える。さらに、制御装置１００は、コンピュータ６００が生体反応の時系列的な組み合わせ単位を判定した際に、コンピュータ６００を、その判定した生体反応の時系列的な組み合わせ単位に対応する第１インデックスがあるか否かを互いに関連付けされた両インデックスデータ中から探索する探索手段とした。そして、制御装置１００のコンピュータ６００（制御信号生成手段）は、探索して得られた第１インデックスと関連付けされた第２インデックスに対応する機器の制御信号を出力するようにした。
【００６３】
この結果、第１インデックスと第２インデックスとを任意に組み合わせることができ、操作者ができる生体反応の組み合わせ単位を機器の操作項目に関連付けすることができる。
【００６４】
（４）本実施形態の制御装置１００は、ＵＳＢメモリ９１０（第２記憶手段）を着脱可能に装着するコネクタ９２０（装着手段）を備えた。
又、ＵＳＢメモリ９１０に互いに関連付けされた両インデックスデータが記憶されている。このため、複数の操作者Ｈがいる場合、ＵＳＢメモリ９１０をコネクタ９２０に装着するだけで、操作者Ｈができる生体反応の組み合わせ単位と機器の操作項目とが関連付けされた両インデックスデータを操作者Ｈ毎に得ることができる。
【００６５】
又、制御装置１００では、ＵＳＢメモリ９１０に記憶され、互いに関連付けされた両インデックスデータを利用することができ、コンピュータ６００側では、多くの記憶容量を備えた記憶装置６１０を用意する必要がない。
【００６６】
なお、本発明の実施形態は上記実施の形態に限定されるものではなく、発明の趣旨を逸脱しない範囲で、適宜に変更して次のように実施することもできる。
（１）前記実施形態では、脳波と筋電を検出するようにしたが、生体反応としての眼球運動を検出するようにしてもよい。例えば、光学的な方法としてリンバーストラッカ法、角膜反射法がある。この方法では、ＣＣＤカメラ等の検出装置にて眼球運動を検出してもよい。
【００６７】
又、眼電図（ＥＯＧ）を使用してもよい。すなわち、角膜と網膜の間には常に一定の電位差（角膜−網膜電位）があり、角膜がプラス、網膜がマイナスに帯電するという性質がある。目を挟んだ両側に生体反応検出手段として電極を装着すれば、角膜が近づいた方の電極がプラス、網膜が近づいた方がマイナスになる。眼球を逆に振れば、極性が反転する。このように眼球運動により生じた電位（以下、眼電という）を検出することにより、眼球運動を検出できる。特に、眼球の変位角とＥＯＧの比例関係は、水平方向の動きには３０°前後、垂直方向には１０°前後まである。
【００６８】
（２）前記実施形態では、かみしめの場合の筋電を検出するようにしたが、これに限定するものではなく、口の動きや、手の動き、足の動き、体の動き等の筋電を検出する生体反応検出手段としてもよい。
【００６９】
（３）第２記憶手段としてＵＳＢメモリ９１０の代わりに、ＰＣカード型メモリやＣＦ（コンパクトフラッシュ（登録商標））カード等のメモリカードとしてもよい。この場合、装着手段としては、ＰＣカード型メモリや、メモリカードを着脱可能なコネクタとする。
【００７０】
なお、第２記憶手段としては、コンピュータ６００に対して離脱不能な記憶装置に具体化してもよい。例えば、記憶装置６１０を第２記憶手段としてもよく、すなわち、第１記憶手段と第２記憶手段とを同一の記憶装置としてもよく、又、記憶装置６１０とは別個の記憶装置を設けても良い。
【００７１】
又、通信などの手段を使って、コンピュータ６００と分離した他の装置に設けた記憶装置でもよく、要は、操作者Ｈができる生体反応の組み合わせ単位と機器の操作項目とが関連付けされた両インデックスデータを操作者Ｈ毎に得ることができればよい。
【００７２】
（４）前記実施形態では、機器としてＣＤプレーヤ９００に具体化したが、音響機器や、他の家電機器に具体化してもよい。又、家電機器に限らず、工場等に設置される生産機器、事務機器等に具体化してもよい。
【００７３】
【発明の効果】
以上詳述したように請求項１乃至請求項７に記載の発明によれば、操作者の無意識による生体信号と、意識的な生体信号の発生とを識別でき、機器の誤動作を防止することができる。又、操作者に障害などにより、通常の機器操作に支障がある場合、誤作動が少ない安定した操作機能を提供することができる。
【図面の簡単な説明】
【図１】制御装置１００の概略の電気ブロック図。
【図２】生体反応検出装置２００の正面図
【図３】生体反応検出装置２００の平面図。
【図４】生体反応検出装置２００の使用状態の説明図。
【図５】「１０−２０法」の電極配置図。
【図６】コンピュータ６００が実行するフローチャート。
【図７】コンピュータ６００が実行するフローチャート。
【図８】（ａ）及び（ｂ）はコンピュータ６００が実行するフローチャート。
【図９】コンピュータ６００が実行するフローチャート。
【図１０】コンピュータ６００が実行するフローチャート。
【図１１】コンピュータ６００が実行するフローチャート。
【図１２】ディスプレイ７００の画面７１０の説明図。
【図１３】ディスプレイ７００の画面７１０の説明図。
【図１４】ディスプレイ７００の画面７１０の説明図。
【図１５】ディスプレイ７００の画面７１０の説明図。
【図１６】ディスプレイ７００の画面７１０の説明図。
【図１７】ディスプレイ７００の画面７１０の説明図。
【図１８】ディスプレイ７００の画面７１０の説明図。
【図１９】ディスプレイ７００の画面７１０の説明図。
【図２０】ディスプレイ７００の画面７１０の説明図。
【図２１】ディスプレイ７００の画面７１０の説明図。
【図２２】ディスプレイ７００の画面７１０の説明図。
【図２３】状態遷移図。
【符号の説明】
１００…制御装置
２００…生体反応検出装置（生体反応検出手段）
３００…プロセッサーボックス
６００…コンピュータ（単位判定手段、制御信号生成手段、訓練モード設定手段、判定手段、関連付け手段、探索手段）
６１０…記憶装置（第１記憶手段）
６２０…入力装置（選択手段）
７００…ディスプレイ（報知手段、ガイド手段）
９００…ＣＤプレーヤ
９１０…ＵＳＢメモリ（第２記憶手段）
９２０…コネクタ（装着手段）

Claims

生体反応を検出する生体反応検出手段と、
前記生体反応検出手段が検出した信号に基づいて、生体反応の時系列的な組み合わせ単位を判定する単位判定手段と、
前記単位判定手段によって判定された生体反応の時系列的な組み合わせ単位の種類に応じて機器の制御信号を出力する制御信号生成手段とを
備えたことを特徴とする生体反応利用機器制御装置。
前記生体反応検出手段は、操作者の脳波、眼電、筋電の中から少なくとも１つを検出することを特徴とする請求項１に記載の生体反応利用機器制御装置。
請求項１において、
訓練モードに設定する訓練モード設定手段と、
訓練モード時に、操作者に複数の生体反応の時系列的な組み合わせをガイドして、該複数の生体反応の生成を促すガイド手段と、
訓練モード時に、前記生体反応検出手段が検出した信号に基づいて、複数の生体反応の時系列的な組み合わせ単位を判定し、その判定結果と、前記ガイド手段が促した複数の生体反応の時系列的な組み合わせ単位とが合致するか否かを判断する判定手段と、
前記判定手段の合致判断結果を報知する報知手段とを
備えたことを特徴とする生体反応利用機器制御装置。
生体反応の時系列的な組み合わせ単位を第１インデックスとし、かつ、機器の操作項目を第２インデックスとしたとき、互いに異なる複数の前記第１インデックスと、互いに異なる複数の前記第２インデックスとを記憶する第１記憶手段と、前記複数の第１インデックス及び複数の第２インデックスの中から、それぞれ特定のインデックスを選択する選択手段と、前記選択手段の選択に基づいて、特定された第１インデックスと第２インデックスとを関連付けする関連付け手段と、前記関連付け手段にて関連付けされた両インデックスデータを記憶する第２記憶手段と、前記単位判定手段が生体反応の時系列的な組み合わせ単位を判定した際に、その判定した生体反応の時系列的な組み合わせ単位に対応する第１インデックスがあるか否かを前記互いに関連付けされた両インデックスデータ中から探索する探索手段とを備え、前記制御信号生成手段は、前記探索手段が探索して得られた第１インデックスと関連付けされた第２インデックスに対応する機器の制御信号を出力することを特徴とする請求項１に記載の生体反応利用機器制御装置。
前記第２記憶手段を着脱可能に装着する装着手段を備えたことを特徴とする請求項４に記載の生体反応利用機器制御装置。
生体反応を検出する生体反応検出ステップと、
前記生体反応検出ステップで検出した信号に基づいて、生体反応の時系列的な組み合わせ単位を判定する単位判定ステップと、
前記単位判定ステップによって判定された生体反応の時系列的な組み合わせ単位の種類に応じて機器の制御信号を出力する制御信号生成ステップとを
備えたことを特徴とする機器の制御方法。
前記生体反応検出ステップは、操作者の脳波、眼電、筋電の中から少なくとも１つを検出することを特徴とする請求項６に記載の機器の制御方法。