JP2005018167A - 生体反応利用機器制御装置及び機器の制御方法 - Google Patents
生体反応利用機器制御装置及び機器の制御方法 Download PDFInfo
- Publication number
- JP2005018167A JP2005018167A JP2003178581A JP2003178581A JP2005018167A JP 2005018167 A JP2005018167 A JP 2005018167A JP 2003178581 A JP2003178581 A JP 2003178581A JP 2003178581 A JP2003178581 A JP 2003178581A JP 2005018167 A JP2005018167 A JP 2005018167A
- Authority
- JP
- Japan
- Prior art keywords
- biological reaction
- biological
- time
- index
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 117
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000001514 detection method Methods 0.000 claims description 58
- 238000012549 training Methods 0.000 claims description 20
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 6
- 230000007257 malfunction Effects 0.000 abstract description 7
- 208000003443 Unconsciousness Diseases 0.000 abstract description 4
- 210000001508 eye Anatomy 0.000 description 20
- 238000010586 diagram Methods 0.000 description 17
- 230000007704 transition Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 210000004556 brain Anatomy 0.000 description 4
- 230000004424 eye movement Effects 0.000 description 4
- 230000003183 myoelectrical effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000036982 action potential Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 210000004087 cornea Anatomy 0.000 description 3
- 210000001525 retina Anatomy 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000001061 forehead Anatomy 0.000 description 2
- 230000005283 ground state Effects 0.000 description 2
- 210000001087 myotubule Anatomy 0.000 description 2
- 230000012232 skeletal muscle contraction Effects 0.000 description 2
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- 208000032140 Sleepiness Diseases 0.000 description 1
- 206010041349 Somnolence Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 210000000624 ear auricle Anatomy 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 239000004922 lacquer Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000004118 muscle contraction Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 229910052698 phosphorus Inorganic materials 0.000 description 1
- 239000011574 phosphorus Substances 0.000 description 1
- 238000001028 reflection method Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000037321 sleepiness Effects 0.000 description 1
- 229920003002 synthetic resin Polymers 0.000 description 1
- 239000000057 synthetic resin Substances 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Eye Examination Apparatus (AREA)
Abstract
【課題】操作者の無意識による生体信号と、意識的な生体信号の発生とを識別でき、機器の誤動作を防止する生体反応利用機器制御装置及び機器の制御方法を提供する。
【解決手段】制御装置100は、生体反応を検出する生体反応検出装置200と、生体反応検出装置200が検出した信号に基づいて、生体反応の時系列的な組み合わせ単位を判定するコンピュータ600とを備えている。そして、コンピュータ600は、判定された生体反応の時系列的な組み合わせ単位の種類に応じてCDプレーヤ900(機器)の制御信号を出力する。
【選択図】 図1
【解決手段】制御装置100は、生体反応を検出する生体反応検出装置200と、生体反応検出装置200が検出した信号に基づいて、生体反応の時系列的な組み合わせ単位を判定するコンピュータ600とを備えている。そして、コンピュータ600は、判定された生体反応の時系列的な組み合わせ単位の種類に応じてCDプレーヤ900(機器)の制御信号を出力する。
【選択図】 図1
Description
【0001】
【発明の属する技術分野】
本発明は、生体反応を利用して機器を制御可能な生体反応利用機器制御装置及び機器の制御方法に関するものである。
【0002】
【従来の技術】
生体反応のうち電気的現象としては、脳波(EEG)、眼電(EOG)、筋電(EMG)等があり、その他のものには皮膚電気反射(GSR)、血圧、呼吸運動等がある。これらの生体反応を利用して機器操作を行う技術が従来から提案されている。例えば、マニピュレータ、ポインタや義手の制御装置において、筋電、眼電、及び脳波を個々に検出し、その検出信号に応じて制御信号に変換し、同制御信号に基づいて機器を操作するようにしたものである。
【0003】
なお、本発明のように、生体反応を複合的に利用して機器制御に用いた事例は従来技術としては見あたらなかった。
【0004】
【発明が解決しようとする課題】
しかし、生体反応は無意識のうちに発生するため、単独の生体反応を利用して機器操作を行うと、誤動作が発生しやすい問題がある。
【0005】
本発明は上記問題点を解決するためになされたものであって、その目的は、操作者の無意識による生体信号と、意識的な生体信号の発生とを識別でき、機器の誤動作を防止する生体反応利用機器制御装置及び機器の制御方法を提供することにある。
【0006】
【課題を解決するための手段】
上記問題点を解決するため、請求項1記載の発明は、生体反応を検出する生体反応検出手段と、前記生体反応検出手段が検出した信号に基づいて、生体反応の時系列的な組み合わせ単位を判定する単位判定手段と、前記単位判定手段によって判定された生体反応の時系列的な組み合わせ単位の種類に応じて機器の制御信号を出力する制御信号生成手段とを備えたことを特徴とする生体反応利用機器制御装置を要旨とするものである。
【0007】
請求項2の発明は、請求項1において、前記生体反応検出手段は、操作者の脳波、眼電、筋電の中から少なくとも1つを検出することを特徴とする。
請求項3の発明は、請求項1において、訓練モードに設定する訓練モード設定手段と、訓練モード時に、操作者に複数の生体反応の時系列的な組み合わせをガイドして、該複数の生体反応の生成を促すガイド手段と、訓練モード時に、前記生体反応検出手段が検出した信号に基づいて、複数の生体反応の時系列的な組み合わせ単位を判定し、その判定結果と、前記ガイド手段が促した複数の生体反応の時系列的な組み合わせ単位とが合致するか否かを判断する判定手段と、前記判定手段の合致判断結果を報知する報知手段とを備えたことを特徴とする。
【0008】
請求項4の発明は、請求項1において、生体反応の時系列的な組み合わせ単位を第1インデックスとし、かつ、機器の操作項目を第2インデックスとしたとき、互いに異なる複数の前記第1インデックスと、互いに異なる複数の前記第2インデックスとを記憶する第1記憶手段と、前記複数の第1インデックス及び複数の第2インデックスの中から、それぞれ特定のインデックスを選択する選択手段と、前記選択手段の選択に基づいて、特定された第1インデックスと第2インデックスとを関連付けする関連付け手段と、前記関連付け手段にて関連付けされた両インデックスデータを記憶する第2記憶手段と、前記単位判定手段が生体反応の時系列的な組み合わせ単位を判定した際に、その判定した生体反応の時系列的な組み合わせ単位に対応する第1インデックスがあるか否かを前記互いに関連付けされた両インデックスデータ中から探索する探索手段とを備え、前記制御信号生成手段は、前記探索手段が探索して得られた第1インデックスと関連付けされた第2インデックスに対応する機器の制御信号を出力することを特徴とする。
【0009】
請求項5の発明は、請求項4において、前記第2記憶手段を着脱可能に装着する装着手段を備えたことを特徴とする。
請求項6の発明は、生体反応を検出する生体反応検出ステップと、前記生体反応検出検出ステップで検出した信号に基づいて、生体反応の時系列的な組み合わせ単位を判定する単位判定ステップと、前記単位判定ステップによって判定された生体反応の時系列的な組み合わせ単位の種類に応じて機器の制御信号を出力する制御信号生成ステップとを備えたことを特徴とする機器の制御方法を要旨とするものである。
【0010】
請求項7の発明は、請求項6において、前記生体反応検出ステップは、操作者の脳波、眼電、筋電の中から少なくとも1つを検出することを特徴とする。
【0011】
【発明の実施の形態】
以下、本発明を具体化した生体反応利用機器制御装置(以下、単に制御装置という)を図1〜図22を参照して説明する。
【0012】
図1に示すように制御装置100は、生体反応検出装置200、プロセッサーボックス300、インターフェイス500、コンピュータ600、キーボードやマウスを備えた入力装置620、ディスプレイ700、リモートコントローラ800を備えている。生体反応検出装置200は生体反応検出手段に相当する。又、ディスプレイ700は、報知手段、ガイド手段に相当する。
【0013】
生体反応検出装置200は、図2に示すようにヘッドホーン形に形成され、左右一対のイヤーパッド201がヘッドバンド202を介して連結されている。又、ヘッドバンド202の基端間は、図3に示すように円弧状の電極支持板204が連結されている。電極支持板204は、生体反応検出装置200を装着時(図4参照)に、操作者Hの額に沿うように可撓性を有する絶縁性合成樹脂にて形成されている。電極支持板204の内面には、複数の電極Fp1,Fp2,F7,F8,Gが取着されている。又、左右のイヤーパッド201の内面には、電極Er1,Er2,El1,El2,A1,A2がそれぞれ取着されている。
【0014】
各電極の取付位置について説明する。図5は国際脳波・臨床生理学会連合標準電極配置法により、学会基準として定められている、「10−20法」の電極配置図であり、符号1〜20が脳波測定のためにそれぞれ電極を配置する箇所を示す。そのうち、本実施形態では、符号1,2には電極Fp1、Fp2が、符号13,14には電極F7,F8が対応するように電極支持板204にそれぞれ配置されている。又、グランド電極となる電極Gは図5に示すように額部分の中央に対応位置するように電極支持板204の長手方向の中央部に取着されている。
【0015】
又、左右のイヤーパッド201内面には、生体反応検出装置200の装着時に両耳の前後にそれぞれ位置するように電極Er1,Er2,El1,El2が取着されている。又、グランド電極となる電極A1,A2は両耳たぶに接触可能に左右のイヤーパッド201内面に対し配置されている。
【0016】
ここで、前記各電極が検出する生体反応について説明する。
脳波は、その周波数の帯域から、δ波(4Hz以下)、θ波(4〜8Hz)、α波(8〜13Hz)、β波(14〜30Hz)、γ波(30Hz以上)の5つに分類される。δ波とθ波は、眠気や意識レベルの低下した状態のときに優勢となる。α波は目を閉じて光刺激を遮断したとき、精神的に落ち着いた状態やぼんやりした状態のときに優勢となり、規則的な波形となる。β波やγ波は意識レベルの高い状態や興奮した状態のときに現れる。本実施形態では、特に電極Fp1,Fp2,F7,F8及び電極Gを脳波検出用の電極としている。
【0017】
筋電図(EMG)は、骨格筋の収縮に伴う、筋繊維から発生する活動電位を記録したものをいう。骨格筋の収縮が大きいほど、活動電位も高まるため、筋電によって、筋の収縮の程度が分かる。本実施形態では、この筋繊維から発生する活動電位を筋電という。本実施形態では、特に電極Er1,Er2,El1,El2、及び電極A1,A2を筋電用の検出電極としている。
【0018】
プロセッサーボックス300は、前記各電極が検出した検出信号(生体信号)を取込んでデジタル化し、インターフェイス500との間で送信を行う。インターフェイス500はコンピュータ600に対し、前記各電極が検出した検出信号(生体信号)を入力する。
【0019】
コンピュータ600は、CPU、ROM、RAM(ともに図示しない)及び記憶装置610を備えている。コンピュータ600(CPU)は、記憶装置610に格納された制御プログラムに基づいて、生体反応検出装置200からの検出信号(生体信号)を種々の解析方法により分析し、各検出信号(生体信号)の値に基づいて操作者の生体反応を検出する。そして、コンピュータ600(CPU)は生体反応の時系列的な組み合わせ単位を判定し、その組み合わせ単位の種類に関連付けられた制御信号をリモートコントローラ800に出力する。リモートコントローラ800は、その制御信号を機器(機器)としてのCDプレーヤ900に送信する。CDプレーヤ900は、その制御信号に基づき、電源オンオフ、再生、停止、一時停止、ボリュームアップ、ボリュームダウン、次のトラック移動、前のトラック移動等を行う。
【0020】
又、第2記憶手段としてのUSBメモリ910はコンピュータ600に接続されたUSBメモリ用のコネクタ920に着脱自在に接続される。コネクタ920は装着手段に相当する。USBメモリ910は、コンピュータ600によりデータの書き込み、読出が可能とされている。ディスプレイ700は、コンピュータ600から出力された各種の表示データを表示する。
【0021】
次に、上記のように構成された制御装置100の作用を図6〜図22を参照して説明する。図6〜図11はコンピュータ600が処理する制御プログラムのフローチャートであり、図12〜図22はコンピュータ600がディスプレイ700の画面710に表示制御した状態を示す。なお、図4に示すように操作者Hが生体反応検出装置200を装着した状態であるものとする。
【0022】
制御装置100を起動すると、S10では、初期化を行い、S20では、図12に示すようにディスプレイ700の画面710上に、USBメモリ910の挿入を促す文31を表示して、USBメモリ910がコネクタ920に接続されたか否かを判定する。USBメモリ910がコネクタ920に接続されると、S30において、図13に示すようにユーザ名入力を促す文32及びユーザ名入力欄33を表示する。入力装置620にてユーザ名入力がユーザ名入力欄に対し行われると、S40に移行する、なお、図13の画面上に表示された登録ボタン34を図示しないマウスにて操作すると(S90)、ユーザ名入力欄33に入力されたユーザ名が、RAMや記憶装置610に格納され、S100に移行する。なお、登録ボタン34を始めとして各種のボタンの操作は、図示しないマウスで操作されるものであるため、以下の説明では、各種のボタン操作は説明の便宜上、単にボタンを操作するとの表現を使用する。
【0023】
S40では、コンピュータ600は画面710上に図14に示すようにメニュー表示を行う。メニュー表示は、生体信号の発生方法のガイドボタン50,訓練モードボタン51、生体信号とCDプレーヤの操作関連付けボタン52、仮想CDプレーヤ操作ボタン53、終了ボタン54が表示される。ガイドボタン50を操作すると、S50に移行し、図15に示すようにコンピュータ600は生体信号の発生方法についての解説のための画面を表示する。すなわち、画面710上で、「まばたき+まばたき」、「まばたき+まばたき+かみしめる」、「目を閉じて開く」、「目を閉じて開き、かみしめる」、「かみしめて、ぼんやりする」、及び「かみしめて、一点を見る」の生体信号の発生方法に関する各説明ボタン60〜65を表示する。
【0024】
この説明ボタン60〜65のいずれかのボタンを操作すると、コンピュータ600は操作された説明ボタンに応じてディスプレイ700の画面710を図示しない説明文に表示を変え、知りたい生体信号の発生方法の説明を行う。そして、操作者Hは、画面710上に表示された復帰ボタン66を操作すると、コンピュータ600は図14のメニュー表示画面に復帰表示し、S40に戻る。
【0025】
S40において訓練モードボタン51を操作すると、S60に移行し、コンピュータ600は、図16に示すように、「生体信号の名称」の欄71及び「検出」の欄72を表示する。前記「生体信号の名称」の欄71は、「まばたき+まばたき」、「まばたき+まばたき+かみしめる」、「目を閉じて開く」、「目を閉じて開き、かみしめる」、「かみしめて、ぼんやりする」、及び「かみしめて、一点を見る」を備える。「まばたき+まばたき」、「まばたき+まばたき+かみしめる」、「目を閉じて開く」、「目を閉じて開き、かみしめる」、「かみしめて、ぼんやりする」、及び「かみしめて、一点を見る」は、それぞれ生体反応の時系列的な組み合わせ単位を構成している。又、「検出」の欄72には、通常は消灯したランプマークが表示されており、対応する生体信号の時系列的な組み合わせ単位が検出された場合、点灯したランプマークが表示される。すなわち、欄72は各「生体信号の名称」に対応して、その項目に関する生体信号の時系列的な組み合わせ単位(生体反応の時系列的な組み合わせ単位)が検出できたか否かの結果を表示するためのものである。
【0026】
図7は、訓練モードの検出処理のフローチャートである。この訓練モードにおいて、操作者Hは、「生体信号の名称」の欄71に記載の生体反応の時系列的な組み合わせ単位の全部、或いは一部を試して実行する(図7のS610)。
【0027】
ここで、上記項目に関する生体反応の検出について説明する。本実施形態では、生体反応を生体反応検出装置200にて検出して入力した生体信号を各周波数領域におけるパワー変化等により、操作者Hの動作や思考の特定を行うものである(S620,S630)。
【0028】
なお、下記の「まばたき(両眼)」、「かみしめ」、「一点を見る」、「ぼんやり」を検出する場合、コンピュータ600は生体信号のサンプリングデータから、顔のどの部分の筋肉をどのように動かしたかを検出するために、コンピュータ600は、公知の離散フーリエ変換を行い、その各周波数成分の強度を評価する。
【0029】
そして、コンピュータ600は「まばたき(両眼)」については、1〜3Hzの低周波数成分で特徴が出るため、所定の閾値を設定して、検出を行う。この「まばたき」の検出を後述の説明では「B」の検出ということがある。又、コンピュータ600は「かみしめ」については、25〜50Hzの成分で特徴が出るため、前記周波数成分範囲の強度をかみしめを検出するために設定された所定の閾値にて評価する。この「かみしめ」の検出を後述の説明では「J」の検出ということがある。
【0030】
コンピュータ600は、「一点を見る」については、14〜25Hzを成分とするβ波領域でのパワー変化を、所定の閾値を設定することにより、検出を行う。すなわち、「一点を見る」はβ波領域の14〜25Hzで特徴が出るため、コンピュータ600は、β波用に設定された所定の閾値にて、同閾値を超える区間が連続して数秒間継続するとき、集中と検出する。この「一点を見る」の検出を後述の説明では「Concentration」の検出ということがある。
【0031】
又、コンピュータ600は、「ぼんやり」については、8〜11Hzを成分とするα波領域でのパワー変化を、所定の閾値を設定することにより、検出を行う。すなわち、「ぼんやり」はα波領域の8〜11Hzで特徴が出て、しかも他の周波数よりもレベルが高く、14〜25Hzのβ波領域は低くなることを利用してコンピュータ600は、α波領域に設定された所定の閾値にて検出する。この「ぼんやり」の検出を後述の説明では「Nothing」の検出ということがある。
【0032】
「目を閉じて開く」については、コンピュータ600は、下記の通りに処理することにより、検出する。
「目を閉じて開く」の場合に使用する生体信号は、脳波である。この場合、生体信号は、一定間隔でサンプリングされた電位の時系列データであり、コンピュータ600はこれを一定区間ごとに区切り、高速フーリエ変換処理を行い、パワースペクトラムを算出する。このようにして得られたパワースペクトラムを、コンピュータ600は、ソフト処理であるニューラルネットワークに入力して心地よさ(リラックス状態)を推定する。このニューラルネットワーク は、予めパワースペクトラムと操作者の心理状態との対応が既知であるデータを用いて学習したもので、入力に応じてその時の状態を学習内容に応じて心地よさの程度を数値で出力する公知のものである。なお、ニューラルネットワーク は、実際に使用する操作者の脳波 を用いて学習しても、予め複数の被験者を対象に採取した脳波 を用いて学習してもよい。
【0033】
そして、コンピュータ600は、実際に操作者が目を一定時間閉じて開いたときのリラックス状態であるか否かを前記ニューラルネットワークの判定関数を用いて判定するとともに、その状態が、前記一定時間以上継続したか否かを判定する。なお、ニューラルネットワークを用いるのは、目を閉じた場合は目を開けている場合に比べてα波ピークは高くなることが知られており、α波のピークだけではリラックスの度合いの推定が難しいからである。このように「目を閉じて開く」を検出したことを、後述の説明では「E」の検出ということがある。
【0034】
次に、S630における生体信号の時系列的な組み合わせ単位の判定を図23の状態遷移図を参照して説明する。図23の欄80中、記号「IDLE」は基底状態、「B」はまばたきを検出した直後の状態、「THINK」はかみしめを検出した直後の状態、「E」は目を一定時間閉じて開いた直後の状態、「BB」は2回連続のまばたきを検出した直後の状態であり、それぞれ状態を表している。
【0035】
図23の欄90は何が検出されたかを示す検出結果の欄である。欄90中、Eは「目を閉じて開く」、Jは「かみしめ」、Bは「まばたき(両眼)」、Nothingは「ぼんやり」、Concentrationは「一点を注視し、集中している状態」である。
【0036】
図23の欄95において、「→」は、状態の遷移先を示している。本実施形態では、図23に示す状態遷移図に従って状態を遷移し、生体信号の時系列的な組み合わせ単位を判定する。
【0037】
「IDLE(基底状態)」下では、Eを検出すると、「E」の状態に遷移し、「J」を検出すると、「THINK」の状態に遷移し、「B」を検出すると、「B」の状態に遷移する。「B」の状態下では、Bを検出すると、「BB」の状態に遷移し、一定時間未検出であると「IDLE」の状態に遷移する。
【0038】
「THINK」の状態下で、Eを検出すると、「E」の状態に遷移し、「B」を検出すると、「B」の状態に遷移し、「Nothing」を検出すると、「Nothing」と判定した後、「IDLE」の状態に遷移する。又、「THINK」の状態下で、Concentrationを検出すると、「IDLE」の状態に遷移する。
【0039】
「E」の状態下で、Jを検出すると、EJと判定、すなわち、「目を閉じて開き、かみしめる」と判定して「IDLE」の状態に遷移する。又、「BB」の状態下で、Jを検出すると、BBJと判定、すなわち、「まばたき+まばたき+かみしめる」と判定し、「IDLE」の状態に遷移する。
【0040】
操作者Hが欄71に記載のいずれかを試すと、コンピュータ600は検出(判定)した生体信号の時系列的な組み合わせ単位に対応する欄72の消灯のランプマークを、点灯したランプマークの表示に変える(S640)。なお、検出されない場合には、欄72のランプマークは消灯表示のままである。
【0041】
図16において、操作者Hが、画面710上に表示された復帰ボタン76を操作すると、コンピュータ600は図14のメニュー表示画面に復帰表示し、S40に戻る。
【0042】
図14において、生体信号とCDプレーヤの操作関連付けボタン52を操作すると、S70に移行し、コンピュータ600は、ディスプレイ700の表示を図17の表示に変える。
【0043】
図17では、「生体信号の名称」の複数の欄81及び各欄81に対応して設けられた「CDプレーヤの操作」の複数の欄82を表示する。「生体信号の名称」の欄81は前記「生体信号の名称」の欄71と同様のため説明を省略する。
【0044】
「CDプレーヤの操作」の欄82は、この欄をカーソルを当ててマウス(ともに図示しない)にてクリック操作すると、図17に示すように、CDプレーヤの複数の操作項目がリストアップされたドロップダウンリストが表示される。「CDプレーヤの操作」の欄82の任意の1つを選択した状態で、欄82のドロップダウンリストを開き、操作項目の任意の1つを選択すると、欄82中で選択された1つの生体反応の時系列的な組み合わせ単位と、CDプレーヤ900(機器)の操作一覧の中の操作項目とが関連付けされる。この場合、選択は入力装置620を構成するマウスのクリック操作にて行う。入力装置620は選択手段に相当する。関連付けの決定は、図17に示す復帰ボタン83の操作で決定される。なお、コンピュータ600は、前述した生体反応の時系列的な組み合わせ単位を第1インデックスとし、CDプレーヤ900の各種の操作項目を第2インデックスとすると、これらのインデックスを、それぞれ第1記憶手段としての記憶装置610に記憶している。
【0045】
そして、コンピュータ600は、前記復帰ボタン83の操作時に、図8(a)に示すように、関連付けされた生体反応の時系列的な組み合わせ単位(第1インデックス)と操作項目(第2インデックス)を、第2記憶手段としてのUSBメモリ910にインデックスデータとして格納する。このインデックスデータ格納時に同インデックスデータと、S30で、入力されて登録されたユーザ名とを関連付けて同ユーザ名を同じくUSBメモリ910に格納する。
【0046】
又、前記復帰ボタン83が操作されると同時にコンピュータ600は図14のメニュー表示画面に復帰表示し、S40に戻る。
図14において、仮想CDプレーヤ操作ボタン53を操作すると、S80に移行し、コンピュータ600は、ディスプレイ700の表示を図18の表示に変える。このとき、図8(b)のS720に示すように、コンピュータ600は、USBメモリ910から、関連付けされたインデックスデータを読み出し、RAMに格納する。
【0047】
図18では、前記USBメモリ910から読み出したインデックスデータに基づいて、「コントロール(操作項目)の名称」の欄85及びそのコントロールと関連付けされた「生体信号の組み合わせ単位」の欄86を表示する。図18では、「生体信号の組み合わせ単位」の欄86は操作項目と関連付けされたもののみが図示されている。
【0048】
図18がディスプレイ700の画面710に表示された状態で、操作者Hが欄86に表示された生体信号の組み合わせ単位を実行すると、コンピュータ600は図9に示すようにS810では、生体信号を取得し、S820で、取得した生体信号の判定、すなわち、生体反応の組み合わせ単位を判定する。この判定の仕方は、前述した通りであるため、説明を省略する。そして、コンピュータ600は、S830において、生体反応の組み合わせ単位に応じたCDプレーヤの操作状態を示すイメージを画面710のイメージ表示領域710aに表示する。
【0049】
又、図18の表示状態で、復帰ボタン87を操作すると、コンピュータ600は図14のメニュー表示画面に復帰表示し、S40に戻る。そして、図14の表示状態で、終了ボタン54を操作すると、コンピュータ600はS100に移行して、図19の表示に変え、USBメモリ910をコネクタ920から外すことをガイド表示し、S110において、USBメモリ910が外されたか否かを判定する。S110において、USBメモリ910が外されると、コンピュータ600はこのフローチャートを終了する。
【0050】
次に、実際にCDプレーヤ900を操作する場合について説明する。
図10及び図11は、コンピュータ600が実行処理するCDプレーヤの操作制御プログラムのフローチャートである。
【0051】
制御装置100を起動すると、S300では、初期化を行い、S310では、図20に示すようにディスプレイ700の画面710上に、USBメモリ910を促す文131を表示して、USBメモリ910がコネクタ920に接続されたか否かを判定する。
【0052】
USBメモリ910がコネクタ920に接続されると、USBメモリ910に格納されたインデックスデータと、同インデックスデータと関連付けされたユーザ名とを読み出し、RAMに格納する。前記インデックスデータは、前記S710において関連付けされたインデックスデータである。
【0053】
そして、S320において、コンピュータ600は、図21に示すように、ユーザ名表示領域710bに前記ユーザ名を表示し、コントロール表示欄150と、生体反応の組み合わせの表示欄151に互いに関連付けされた操作項目と、生体反応の組み合わせ単位を表示する。又、コンピュータ600は、CDプレーヤ900の状態表示を状態表示領域153に表示する。
【0054】
S330で、ディスプレイ700の画面710に表示された生体反応の組み合わせ単位を操作者Hが、実行すると、図11に示すS910〜S930の処理をコンピュータ600が行う。この各ステップの処理のうち、S910,S920は図9で説明したS810,S820と同じであるため、説明を省略する。S930では、生体反応の組み合わせ単位に応じたCDプレーヤの操作状態を示すイメージを画面710の状態表示領域153に表示するとともに、そのCDプレーヤの操作状態に応じた制御信号をリモートコントローラ800に出力する。リモートコントローラ800は、その制御信号をCDプレーヤ900に出力して、CDプレーヤ900を操作する。
【0055】
図21の画面710に表示された終了ボタン154を図示しないマウスにて操作すると(S340)、S350に移行する。S350では、コンピュータ600は図21の表示から図22に示す表示に変え、USBメモリ910をコネクタ920から外すことをガイド表示し、USBメモリ910が外されたか否かを判定する。S350において、USBメモリ910が外されると、コンピュータ600はこのフローチャートを終了する。
【0056】
上記実施の形態によれば、以下(1)〜(4)に示す効果を有する。
(1) 本実施形態の制御装置100は、生体反応を検出する生体反応検出装置200(生体反応検出手段)と、生体反応検出装置200が検出した信号に基づいて、生体反応の時系列的な組み合わせ単位を判定するコンピュータ600(単位判定手段)とを備えている。そして、コンピュータ600は、判定された生体反応の時系列的な組み合わせ単位の種類に応じてCDプレーヤ900(機器)の制御信号を出力する制御信号生成手段として機能する。
【0057】
又、本実施形態の機器の制御方法では、まず、生体反応を検出し(生体反応検出ステップ)、次に、前記ステップで検出した信号に基づいて、生体反応の時系列的な組み合わせ単位を判定した(単位判定ステップ)。そして、前記ステップによって判定された生体反応の時系列的な組み合わせ単位の種類に応じて機器の制御信号を出力する(制御信号生成ステップ)ようにした。
【0058】
この結果、制御装置100及び機器の制御方法では、生体反応の組み合わせ単位を検出することによって、操作者の無意識による生体信号と、意識的な生体信号の発生とを識別でき、機器の誤動作を防止することができる。
【0059】
このため、本技術は日常生活に生体反応を利用した製品が普及していくなかで、欠かすことができない技術となりうる。又、操作者Hに障害などにより、通常の機器操作に支障がある場合、本制御装置100によって、誤作動が少ない安定した操作機能を提供することができる。
【0060】
(2) 本実施形態の制御装置100のコンピュータ600は、訓練モードボタン51を操作すると、訓練モードに設定する訓練モード設定手段とした。そして、訓練モード時に、操作者Hに複数の生体反応の時系列的な組み合わせをガイドして、該複数の生体反応の生成を促すディスプレイ700をガイド手段とした。又、訓練モード時に、コンピュータ600(生体反応検出手段)が検出した信号に基づいて、複数の生体反応の時系列的な組み合わせ単位を判定するようにした。又、コンピュータ600は、その判定結果と、ディスプレイ700が促した複数の生体反応の時系列的な組み合わせ単位とが合致するか否かを判断する判定手段として機能する。そして、制御装置100は、コンピュータ600(判定手段)の合致判断結果を、「検出」の欄72において、生体信号の時系列的な組み合わせ単位が検出された場合、点灯したランプマークが表示されるようにして報知するディスプレイ700(報知手段)を備える。
【0061】
この結果、訓練モードにおいて、コンピュータ600が生体反応の組み合わせ単位が検出できるまで、操作者Hは、生体反応の発生の訓練を好適に受けることができる。
【0062】
(3) 本実施形態の制御装置100は、生体反応の時系列的な組み合わせ単位を第1インデックスとし、かつ、機器の操作項目を第2インデックスとしたとき、互いに異なる複数の前記第1インデックスと、互いに異なる複数の前記第2インデックスとを記憶する記憶装置610(第1記憶手段)を備える。又、制御装置100は、複数の第1インデックス及び複数の第2インデックスの中から、それぞれ特定のインデックスを選択する入力装置620(選択手段)と、入力装置620の選択に基づいて、特定された第1インデックスと第2インデックスとを関連付けするコンピュータ600(関連付け手段)を備える。又、制御装置100は、関連付けされた両インデックスデータを記憶するUSBメモリ910(第2記憶手段)を備える。さらに、制御装置100は、コンピュータ600が生体反応の時系列的な組み合わせ単位を判定した際に、コンピュータ600を、その判定した生体反応の時系列的な組み合わせ単位に対応する第1インデックスがあるか否かを互いに関連付けされた両インデックスデータ中から探索する探索手段とした。そして、制御装置100のコンピュータ600(制御信号生成手段)は、探索して得られた第1インデックスと関連付けされた第2インデックスに対応する機器の制御信号を出力するようにした。
【0063】
この結果、第1インデックスと第2インデックスとを任意に組み合わせることができ、操作者ができる生体反応の組み合わせ単位を機器の操作項目に関連付けすることができる。
【0064】
(4) 本実施形態の制御装置100は、USBメモリ910(第2記憶手段)を着脱可能に装着するコネクタ920(装着手段)を備えた。
又、USBメモリ910に互いに関連付けされた両インデックスデータが記憶されている。このため、複数の操作者Hがいる場合、USBメモリ910をコネクタ920に装着するだけで、操作者Hができる生体反応の組み合わせ単位と機器の操作項目とが関連付けされた両インデックスデータを操作者H毎に得ることができる。
【0065】
又、制御装置100では、USBメモリ910に記憶され、互いに関連付けされた両インデックスデータを利用することができ、コンピュータ600側では、多くの記憶容量を備えた記憶装置610を用意する必要がない。
【0066】
なお、本発明の実施形態は上記実施の形態に限定されるものではなく、発明の趣旨を逸脱しない範囲で、適宜に変更して次のように実施することもできる。
(1) 前記実施形態では、脳波と筋電を検出するようにしたが、生体反応としての眼球運動を検出するようにしてもよい。例えば、光学的な方法としてリンバーストラッカ法、角膜反射法がある。この方法では、CCDカメラ等の検出装置にて眼球運動を検出してもよい。
【0067】
又、眼電図(EOG)を使用してもよい。すなわち、角膜と網膜の間には常に一定の電位差(角膜−網膜電位)があり、角膜がプラス、網膜がマイナスに帯電するという性質がある。目を挟んだ両側に生体反応検出手段として電極を装着すれば、角膜が近づいた方の電極がプラス、網膜が近づいた方がマイナスになる。眼球を逆に振れば、極性が反転する。このように眼球運動により生じた電位(以下、眼電という)を検出することにより、眼球運動を検出できる。特に、眼球の変位角とEOGの比例関係は、水平方向の動きには30°前後、垂直方向には10°前後まである。
【0068】
(2) 前記実施形態では、かみしめの場合の筋電を検出するようにしたが、これに限定するものではなく、口の動きや、手の動き、足の動き、体の動き等の筋電を検出する生体反応検出手段としてもよい。
【0069】
(3) 第2記憶手段としてUSBメモリ910の代わりに、PCカード型メモリやCF(コンパクトフラッシュ(登録商標))カード等のメモリカードとしてもよい。この場合、装着手段としては、PCカード型メモリや、メモリカードを着脱可能なコネクタとする。
【0070】
なお、第2記憶手段としては、コンピュータ600に対して離脱不能な記憶装置に具体化してもよい。例えば、記憶装置610を第2記憶手段としてもよく、すなわち、第1記憶手段と第2記憶手段とを同一の記憶装置としてもよく、又、記憶装置610とは別個の記憶装置を設けても良い。
【0071】
又、通信などの手段を使って、コンピュータ600と分離した他の装置に設けた記憶装置でもよく、要は、操作者Hができる生体反応の組み合わせ単位と機器の操作項目とが関連付けされた両インデックスデータを操作者H毎に得ることができればよい。
【0072】
(4) 前記実施形態では、機器としてCDプレーヤ900に具体化したが、音響機器や、他の家電機器に具体化してもよい。又、家電機器に限らず、工場等に設置される生産機器、事務機器等に具体化してもよい。
【0073】
【発明の効果】
以上詳述したように請求項1乃至請求項7に記載の発明によれば、操作者の無意識による生体信号と、意識的な生体信号の発生とを識別でき、機器の誤動作を防止することができる。又、操作者に障害などにより、通常の機器操作に支障がある場合、誤作動が少ない安定した操作機能を提供することができる。
【図面の簡単な説明】
【図1】制御装置100の概略の電気ブロック図。
【図2】生体反応検出装置200の正面図
【図3】生体反応検出装置200の平面図。
【図4】生体反応検出装置200の使用状態の説明図。
【図5】「10−20法」の電極配置図。
【図6】コンピュータ600が実行するフローチャート。
【図7】コンピュータ600が実行するフローチャート。
【図8】(a)及び(b)はコンピュータ600が実行するフローチャート。
【図9】コンピュータ600が実行するフローチャート。
【図10】コンピュータ600が実行するフローチャート。
【図11】コンピュータ600が実行するフローチャート。
【図12】ディスプレイ700の画面710の説明図。
【図13】ディスプレイ700の画面710の説明図。
【図14】ディスプレイ700の画面710の説明図。
【図15】ディスプレイ700の画面710の説明図。
【図16】ディスプレイ700の画面710の説明図。
【図17】ディスプレイ700の画面710の説明図。
【図18】ディスプレイ700の画面710の説明図。
【図19】ディスプレイ700の画面710の説明図。
【図20】ディスプレイ700の画面710の説明図。
【図21】ディスプレイ700の画面710の説明図。
【図22】ディスプレイ700の画面710の説明図。
【図23】状態遷移図。
【符号の説明】
100…制御装置
200…生体反応検出装置(生体反応検出手段)
300…プロセッサーボックス
600…コンピュータ(単位判定手段、制御信号生成手段、訓練モード設定手段、判定手段、関連付け手段、探索手段)
610…記憶装置(第1記憶手段)
620…入力装置(選択手段)
700…ディスプレイ(報知手段、ガイド手段)
900…CDプレーヤ
910…USBメモリ(第2記憶手段)
920…コネクタ(装着手段)
【発明の属する技術分野】
本発明は、生体反応を利用して機器を制御可能な生体反応利用機器制御装置及び機器の制御方法に関するものである。
【0002】
【従来の技術】
生体反応のうち電気的現象としては、脳波(EEG)、眼電(EOG)、筋電(EMG)等があり、その他のものには皮膚電気反射(GSR)、血圧、呼吸運動等がある。これらの生体反応を利用して機器操作を行う技術が従来から提案されている。例えば、マニピュレータ、ポインタや義手の制御装置において、筋電、眼電、及び脳波を個々に検出し、その検出信号に応じて制御信号に変換し、同制御信号に基づいて機器を操作するようにしたものである。
【0003】
なお、本発明のように、生体反応を複合的に利用して機器制御に用いた事例は従来技術としては見あたらなかった。
【0004】
【発明が解決しようとする課題】
しかし、生体反応は無意識のうちに発生するため、単独の生体反応を利用して機器操作を行うと、誤動作が発生しやすい問題がある。
【0005】
本発明は上記問題点を解決するためになされたものであって、その目的は、操作者の無意識による生体信号と、意識的な生体信号の発生とを識別でき、機器の誤動作を防止する生体反応利用機器制御装置及び機器の制御方法を提供することにある。
【0006】
【課題を解決するための手段】
上記問題点を解決するため、請求項1記載の発明は、生体反応を検出する生体反応検出手段と、前記生体反応検出手段が検出した信号に基づいて、生体反応の時系列的な組み合わせ単位を判定する単位判定手段と、前記単位判定手段によって判定された生体反応の時系列的な組み合わせ単位の種類に応じて機器の制御信号を出力する制御信号生成手段とを備えたことを特徴とする生体反応利用機器制御装置を要旨とするものである。
【0007】
請求項2の発明は、請求項1において、前記生体反応検出手段は、操作者の脳波、眼電、筋電の中から少なくとも1つを検出することを特徴とする。
請求項3の発明は、請求項1において、訓練モードに設定する訓練モード設定手段と、訓練モード時に、操作者に複数の生体反応の時系列的な組み合わせをガイドして、該複数の生体反応の生成を促すガイド手段と、訓練モード時に、前記生体反応検出手段が検出した信号に基づいて、複数の生体反応の時系列的な組み合わせ単位を判定し、その判定結果と、前記ガイド手段が促した複数の生体反応の時系列的な組み合わせ単位とが合致するか否かを判断する判定手段と、前記判定手段の合致判断結果を報知する報知手段とを備えたことを特徴とする。
【0008】
請求項4の発明は、請求項1において、生体反応の時系列的な組み合わせ単位を第1インデックスとし、かつ、機器の操作項目を第2インデックスとしたとき、互いに異なる複数の前記第1インデックスと、互いに異なる複数の前記第2インデックスとを記憶する第1記憶手段と、前記複数の第1インデックス及び複数の第2インデックスの中から、それぞれ特定のインデックスを選択する選択手段と、前記選択手段の選択に基づいて、特定された第1インデックスと第2インデックスとを関連付けする関連付け手段と、前記関連付け手段にて関連付けされた両インデックスデータを記憶する第2記憶手段と、前記単位判定手段が生体反応の時系列的な組み合わせ単位を判定した際に、その判定した生体反応の時系列的な組み合わせ単位に対応する第1インデックスがあるか否かを前記互いに関連付けされた両インデックスデータ中から探索する探索手段とを備え、前記制御信号生成手段は、前記探索手段が探索して得られた第1インデックスと関連付けされた第2インデックスに対応する機器の制御信号を出力することを特徴とする。
【0009】
請求項5の発明は、請求項4において、前記第2記憶手段を着脱可能に装着する装着手段を備えたことを特徴とする。
請求項6の発明は、生体反応を検出する生体反応検出ステップと、前記生体反応検出検出ステップで検出した信号に基づいて、生体反応の時系列的な組み合わせ単位を判定する単位判定ステップと、前記単位判定ステップによって判定された生体反応の時系列的な組み合わせ単位の種類に応じて機器の制御信号を出力する制御信号生成ステップとを備えたことを特徴とする機器の制御方法を要旨とするものである。
【0010】
請求項7の発明は、請求項6において、前記生体反応検出ステップは、操作者の脳波、眼電、筋電の中から少なくとも1つを検出することを特徴とする。
【0011】
【発明の実施の形態】
以下、本発明を具体化した生体反応利用機器制御装置(以下、単に制御装置という)を図1〜図22を参照して説明する。
【0012】
図1に示すように制御装置100は、生体反応検出装置200、プロセッサーボックス300、インターフェイス500、コンピュータ600、キーボードやマウスを備えた入力装置620、ディスプレイ700、リモートコントローラ800を備えている。生体反応検出装置200は生体反応検出手段に相当する。又、ディスプレイ700は、報知手段、ガイド手段に相当する。
【0013】
生体反応検出装置200は、図2に示すようにヘッドホーン形に形成され、左右一対のイヤーパッド201がヘッドバンド202を介して連結されている。又、ヘッドバンド202の基端間は、図3に示すように円弧状の電極支持板204が連結されている。電極支持板204は、生体反応検出装置200を装着時(図4参照)に、操作者Hの額に沿うように可撓性を有する絶縁性合成樹脂にて形成されている。電極支持板204の内面には、複数の電極Fp1,Fp2,F7,F8,Gが取着されている。又、左右のイヤーパッド201の内面には、電極Er1,Er2,El1,El2,A1,A2がそれぞれ取着されている。
【0014】
各電極の取付位置について説明する。図5は国際脳波・臨床生理学会連合標準電極配置法により、学会基準として定められている、「10−20法」の電極配置図であり、符号1〜20が脳波測定のためにそれぞれ電極を配置する箇所を示す。そのうち、本実施形態では、符号1,2には電極Fp1、Fp2が、符号13,14には電極F7,F8が対応するように電極支持板204にそれぞれ配置されている。又、グランド電極となる電極Gは図5に示すように額部分の中央に対応位置するように電極支持板204の長手方向の中央部に取着されている。
【0015】
又、左右のイヤーパッド201内面には、生体反応検出装置200の装着時に両耳の前後にそれぞれ位置するように電極Er1,Er2,El1,El2が取着されている。又、グランド電極となる電極A1,A2は両耳たぶに接触可能に左右のイヤーパッド201内面に対し配置されている。
【0016】
ここで、前記各電極が検出する生体反応について説明する。
脳波は、その周波数の帯域から、δ波(4Hz以下)、θ波(4〜8Hz)、α波(8〜13Hz)、β波(14〜30Hz)、γ波(30Hz以上)の5つに分類される。δ波とθ波は、眠気や意識レベルの低下した状態のときに優勢となる。α波は目を閉じて光刺激を遮断したとき、精神的に落ち着いた状態やぼんやりした状態のときに優勢となり、規則的な波形となる。β波やγ波は意識レベルの高い状態や興奮した状態のときに現れる。本実施形態では、特に電極Fp1,Fp2,F7,F8及び電極Gを脳波検出用の電極としている。
【0017】
筋電図(EMG)は、骨格筋の収縮に伴う、筋繊維から発生する活動電位を記録したものをいう。骨格筋の収縮が大きいほど、活動電位も高まるため、筋電によって、筋の収縮の程度が分かる。本実施形態では、この筋繊維から発生する活動電位を筋電という。本実施形態では、特に電極Er1,Er2,El1,El2、及び電極A1,A2を筋電用の検出電極としている。
【0018】
プロセッサーボックス300は、前記各電極が検出した検出信号(生体信号)を取込んでデジタル化し、インターフェイス500との間で送信を行う。インターフェイス500はコンピュータ600に対し、前記各電極が検出した検出信号(生体信号)を入力する。
【0019】
コンピュータ600は、CPU、ROM、RAM(ともに図示しない)及び記憶装置610を備えている。コンピュータ600(CPU)は、記憶装置610に格納された制御プログラムに基づいて、生体反応検出装置200からの検出信号(生体信号)を種々の解析方法により分析し、各検出信号(生体信号)の値に基づいて操作者の生体反応を検出する。そして、コンピュータ600(CPU)は生体反応の時系列的な組み合わせ単位を判定し、その組み合わせ単位の種類に関連付けられた制御信号をリモートコントローラ800に出力する。リモートコントローラ800は、その制御信号を機器(機器)としてのCDプレーヤ900に送信する。CDプレーヤ900は、その制御信号に基づき、電源オンオフ、再生、停止、一時停止、ボリュームアップ、ボリュームダウン、次のトラック移動、前のトラック移動等を行う。
【0020】
又、第2記憶手段としてのUSBメモリ910はコンピュータ600に接続されたUSBメモリ用のコネクタ920に着脱自在に接続される。コネクタ920は装着手段に相当する。USBメモリ910は、コンピュータ600によりデータの書き込み、読出が可能とされている。ディスプレイ700は、コンピュータ600から出力された各種の表示データを表示する。
【0021】
次に、上記のように構成された制御装置100の作用を図6〜図22を参照して説明する。図6〜図11はコンピュータ600が処理する制御プログラムのフローチャートであり、図12〜図22はコンピュータ600がディスプレイ700の画面710に表示制御した状態を示す。なお、図4に示すように操作者Hが生体反応検出装置200を装着した状態であるものとする。
【0022】
制御装置100を起動すると、S10では、初期化を行い、S20では、図12に示すようにディスプレイ700の画面710上に、USBメモリ910の挿入を促す文31を表示して、USBメモリ910がコネクタ920に接続されたか否かを判定する。USBメモリ910がコネクタ920に接続されると、S30において、図13に示すようにユーザ名入力を促す文32及びユーザ名入力欄33を表示する。入力装置620にてユーザ名入力がユーザ名入力欄に対し行われると、S40に移行する、なお、図13の画面上に表示された登録ボタン34を図示しないマウスにて操作すると(S90)、ユーザ名入力欄33に入力されたユーザ名が、RAMや記憶装置610に格納され、S100に移行する。なお、登録ボタン34を始めとして各種のボタンの操作は、図示しないマウスで操作されるものであるため、以下の説明では、各種のボタン操作は説明の便宜上、単にボタンを操作するとの表現を使用する。
【0023】
S40では、コンピュータ600は画面710上に図14に示すようにメニュー表示を行う。メニュー表示は、生体信号の発生方法のガイドボタン50,訓練モードボタン51、生体信号とCDプレーヤの操作関連付けボタン52、仮想CDプレーヤ操作ボタン53、終了ボタン54が表示される。ガイドボタン50を操作すると、S50に移行し、図15に示すようにコンピュータ600は生体信号の発生方法についての解説のための画面を表示する。すなわち、画面710上で、「まばたき+まばたき」、「まばたき+まばたき+かみしめる」、「目を閉じて開く」、「目を閉じて開き、かみしめる」、「かみしめて、ぼんやりする」、及び「かみしめて、一点を見る」の生体信号の発生方法に関する各説明ボタン60〜65を表示する。
【0024】
この説明ボタン60〜65のいずれかのボタンを操作すると、コンピュータ600は操作された説明ボタンに応じてディスプレイ700の画面710を図示しない説明文に表示を変え、知りたい生体信号の発生方法の説明を行う。そして、操作者Hは、画面710上に表示された復帰ボタン66を操作すると、コンピュータ600は図14のメニュー表示画面に復帰表示し、S40に戻る。
【0025】
S40において訓練モードボタン51を操作すると、S60に移行し、コンピュータ600は、図16に示すように、「生体信号の名称」の欄71及び「検出」の欄72を表示する。前記「生体信号の名称」の欄71は、「まばたき+まばたき」、「まばたき+まばたき+かみしめる」、「目を閉じて開く」、「目を閉じて開き、かみしめる」、「かみしめて、ぼんやりする」、及び「かみしめて、一点を見る」を備える。「まばたき+まばたき」、「まばたき+まばたき+かみしめる」、「目を閉じて開く」、「目を閉じて開き、かみしめる」、「かみしめて、ぼんやりする」、及び「かみしめて、一点を見る」は、それぞれ生体反応の時系列的な組み合わせ単位を構成している。又、「検出」の欄72には、通常は消灯したランプマークが表示されており、対応する生体信号の時系列的な組み合わせ単位が検出された場合、点灯したランプマークが表示される。すなわち、欄72は各「生体信号の名称」に対応して、その項目に関する生体信号の時系列的な組み合わせ単位(生体反応の時系列的な組み合わせ単位)が検出できたか否かの結果を表示するためのものである。
【0026】
図7は、訓練モードの検出処理のフローチャートである。この訓練モードにおいて、操作者Hは、「生体信号の名称」の欄71に記載の生体反応の時系列的な組み合わせ単位の全部、或いは一部を試して実行する(図7のS610)。
【0027】
ここで、上記項目に関する生体反応の検出について説明する。本実施形態では、生体反応を生体反応検出装置200にて検出して入力した生体信号を各周波数領域におけるパワー変化等により、操作者Hの動作や思考の特定を行うものである(S620,S630)。
【0028】
なお、下記の「まばたき(両眼)」、「かみしめ」、「一点を見る」、「ぼんやり」を検出する場合、コンピュータ600は生体信号のサンプリングデータから、顔のどの部分の筋肉をどのように動かしたかを検出するために、コンピュータ600は、公知の離散フーリエ変換を行い、その各周波数成分の強度を評価する。
【0029】
そして、コンピュータ600は「まばたき(両眼)」については、1〜3Hzの低周波数成分で特徴が出るため、所定の閾値を設定して、検出を行う。この「まばたき」の検出を後述の説明では「B」の検出ということがある。又、コンピュータ600は「かみしめ」については、25〜50Hzの成分で特徴が出るため、前記周波数成分範囲の強度をかみしめを検出するために設定された所定の閾値にて評価する。この「かみしめ」の検出を後述の説明では「J」の検出ということがある。
【0030】
コンピュータ600は、「一点を見る」については、14〜25Hzを成分とするβ波領域でのパワー変化を、所定の閾値を設定することにより、検出を行う。すなわち、「一点を見る」はβ波領域の14〜25Hzで特徴が出るため、コンピュータ600は、β波用に設定された所定の閾値にて、同閾値を超える区間が連続して数秒間継続するとき、集中と検出する。この「一点を見る」の検出を後述の説明では「Concentration」の検出ということがある。
【0031】
又、コンピュータ600は、「ぼんやり」については、8〜11Hzを成分とするα波領域でのパワー変化を、所定の閾値を設定することにより、検出を行う。すなわち、「ぼんやり」はα波領域の8〜11Hzで特徴が出て、しかも他の周波数よりもレベルが高く、14〜25Hzのβ波領域は低くなることを利用してコンピュータ600は、α波領域に設定された所定の閾値にて検出する。この「ぼんやり」の検出を後述の説明では「Nothing」の検出ということがある。
【0032】
「目を閉じて開く」については、コンピュータ600は、下記の通りに処理することにより、検出する。
「目を閉じて開く」の場合に使用する生体信号は、脳波である。この場合、生体信号は、一定間隔でサンプリングされた電位の時系列データであり、コンピュータ600はこれを一定区間ごとに区切り、高速フーリエ変換処理を行い、パワースペクトラムを算出する。このようにして得られたパワースペクトラムを、コンピュータ600は、ソフト処理であるニューラルネットワークに入力して心地よさ(リラックス状態)を推定する。このニューラルネットワーク は、予めパワースペクトラムと操作者の心理状態との対応が既知であるデータを用いて学習したもので、入力に応じてその時の状態を学習内容に応じて心地よさの程度を数値で出力する公知のものである。なお、ニューラルネットワーク は、実際に使用する操作者の脳波 を用いて学習しても、予め複数の被験者を対象に採取した脳波 を用いて学習してもよい。
【0033】
そして、コンピュータ600は、実際に操作者が目を一定時間閉じて開いたときのリラックス状態であるか否かを前記ニューラルネットワークの判定関数を用いて判定するとともに、その状態が、前記一定時間以上継続したか否かを判定する。なお、ニューラルネットワークを用いるのは、目を閉じた場合は目を開けている場合に比べてα波ピークは高くなることが知られており、α波のピークだけではリラックスの度合いの推定が難しいからである。このように「目を閉じて開く」を検出したことを、後述の説明では「E」の検出ということがある。
【0034】
次に、S630における生体信号の時系列的な組み合わせ単位の判定を図23の状態遷移図を参照して説明する。図23の欄80中、記号「IDLE」は基底状態、「B」はまばたきを検出した直後の状態、「THINK」はかみしめを検出した直後の状態、「E」は目を一定時間閉じて開いた直後の状態、「BB」は2回連続のまばたきを検出した直後の状態であり、それぞれ状態を表している。
【0035】
図23の欄90は何が検出されたかを示す検出結果の欄である。欄90中、Eは「目を閉じて開く」、Jは「かみしめ」、Bは「まばたき(両眼)」、Nothingは「ぼんやり」、Concentrationは「一点を注視し、集中している状態」である。
【0036】
図23の欄95において、「→」は、状態の遷移先を示している。本実施形態では、図23に示す状態遷移図に従って状態を遷移し、生体信号の時系列的な組み合わせ単位を判定する。
【0037】
「IDLE(基底状態)」下では、Eを検出すると、「E」の状態に遷移し、「J」を検出すると、「THINK」の状態に遷移し、「B」を検出すると、「B」の状態に遷移する。「B」の状態下では、Bを検出すると、「BB」の状態に遷移し、一定時間未検出であると「IDLE」の状態に遷移する。
【0038】
「THINK」の状態下で、Eを検出すると、「E」の状態に遷移し、「B」を検出すると、「B」の状態に遷移し、「Nothing」を検出すると、「Nothing」と判定した後、「IDLE」の状態に遷移する。又、「THINK」の状態下で、Concentrationを検出すると、「IDLE」の状態に遷移する。
【0039】
「E」の状態下で、Jを検出すると、EJと判定、すなわち、「目を閉じて開き、かみしめる」と判定して「IDLE」の状態に遷移する。又、「BB」の状態下で、Jを検出すると、BBJと判定、すなわち、「まばたき+まばたき+かみしめる」と判定し、「IDLE」の状態に遷移する。
【0040】
操作者Hが欄71に記載のいずれかを試すと、コンピュータ600は検出(判定)した生体信号の時系列的な組み合わせ単位に対応する欄72の消灯のランプマークを、点灯したランプマークの表示に変える(S640)。なお、検出されない場合には、欄72のランプマークは消灯表示のままである。
【0041】
図16において、操作者Hが、画面710上に表示された復帰ボタン76を操作すると、コンピュータ600は図14のメニュー表示画面に復帰表示し、S40に戻る。
【0042】
図14において、生体信号とCDプレーヤの操作関連付けボタン52を操作すると、S70に移行し、コンピュータ600は、ディスプレイ700の表示を図17の表示に変える。
【0043】
図17では、「生体信号の名称」の複数の欄81及び各欄81に対応して設けられた「CDプレーヤの操作」の複数の欄82を表示する。「生体信号の名称」の欄81は前記「生体信号の名称」の欄71と同様のため説明を省略する。
【0044】
「CDプレーヤの操作」の欄82は、この欄をカーソルを当ててマウス(ともに図示しない)にてクリック操作すると、図17に示すように、CDプレーヤの複数の操作項目がリストアップされたドロップダウンリストが表示される。「CDプレーヤの操作」の欄82の任意の1つを選択した状態で、欄82のドロップダウンリストを開き、操作項目の任意の1つを選択すると、欄82中で選択された1つの生体反応の時系列的な組み合わせ単位と、CDプレーヤ900(機器)の操作一覧の中の操作項目とが関連付けされる。この場合、選択は入力装置620を構成するマウスのクリック操作にて行う。入力装置620は選択手段に相当する。関連付けの決定は、図17に示す復帰ボタン83の操作で決定される。なお、コンピュータ600は、前述した生体反応の時系列的な組み合わせ単位を第1インデックスとし、CDプレーヤ900の各種の操作項目を第2インデックスとすると、これらのインデックスを、それぞれ第1記憶手段としての記憶装置610に記憶している。
【0045】
そして、コンピュータ600は、前記復帰ボタン83の操作時に、図8(a)に示すように、関連付けされた生体反応の時系列的な組み合わせ単位(第1インデックス)と操作項目(第2インデックス)を、第2記憶手段としてのUSBメモリ910にインデックスデータとして格納する。このインデックスデータ格納時に同インデックスデータと、S30で、入力されて登録されたユーザ名とを関連付けて同ユーザ名を同じくUSBメモリ910に格納する。
【0046】
又、前記復帰ボタン83が操作されると同時にコンピュータ600は図14のメニュー表示画面に復帰表示し、S40に戻る。
図14において、仮想CDプレーヤ操作ボタン53を操作すると、S80に移行し、コンピュータ600は、ディスプレイ700の表示を図18の表示に変える。このとき、図8(b)のS720に示すように、コンピュータ600は、USBメモリ910から、関連付けされたインデックスデータを読み出し、RAMに格納する。
【0047】
図18では、前記USBメモリ910から読み出したインデックスデータに基づいて、「コントロール(操作項目)の名称」の欄85及びそのコントロールと関連付けされた「生体信号の組み合わせ単位」の欄86を表示する。図18では、「生体信号の組み合わせ単位」の欄86は操作項目と関連付けされたもののみが図示されている。
【0048】
図18がディスプレイ700の画面710に表示された状態で、操作者Hが欄86に表示された生体信号の組み合わせ単位を実行すると、コンピュータ600は図9に示すようにS810では、生体信号を取得し、S820で、取得した生体信号の判定、すなわち、生体反応の組み合わせ単位を判定する。この判定の仕方は、前述した通りであるため、説明を省略する。そして、コンピュータ600は、S830において、生体反応の組み合わせ単位に応じたCDプレーヤの操作状態を示すイメージを画面710のイメージ表示領域710aに表示する。
【0049】
又、図18の表示状態で、復帰ボタン87を操作すると、コンピュータ600は図14のメニュー表示画面に復帰表示し、S40に戻る。そして、図14の表示状態で、終了ボタン54を操作すると、コンピュータ600はS100に移行して、図19の表示に変え、USBメモリ910をコネクタ920から外すことをガイド表示し、S110において、USBメモリ910が外されたか否かを判定する。S110において、USBメモリ910が外されると、コンピュータ600はこのフローチャートを終了する。
【0050】
次に、実際にCDプレーヤ900を操作する場合について説明する。
図10及び図11は、コンピュータ600が実行処理するCDプレーヤの操作制御プログラムのフローチャートである。
【0051】
制御装置100を起動すると、S300では、初期化を行い、S310では、図20に示すようにディスプレイ700の画面710上に、USBメモリ910を促す文131を表示して、USBメモリ910がコネクタ920に接続されたか否かを判定する。
【0052】
USBメモリ910がコネクタ920に接続されると、USBメモリ910に格納されたインデックスデータと、同インデックスデータと関連付けされたユーザ名とを読み出し、RAMに格納する。前記インデックスデータは、前記S710において関連付けされたインデックスデータである。
【0053】
そして、S320において、コンピュータ600は、図21に示すように、ユーザ名表示領域710bに前記ユーザ名を表示し、コントロール表示欄150と、生体反応の組み合わせの表示欄151に互いに関連付けされた操作項目と、生体反応の組み合わせ単位を表示する。又、コンピュータ600は、CDプレーヤ900の状態表示を状態表示領域153に表示する。
【0054】
S330で、ディスプレイ700の画面710に表示された生体反応の組み合わせ単位を操作者Hが、実行すると、図11に示すS910〜S930の処理をコンピュータ600が行う。この各ステップの処理のうち、S910,S920は図9で説明したS810,S820と同じであるため、説明を省略する。S930では、生体反応の組み合わせ単位に応じたCDプレーヤの操作状態を示すイメージを画面710の状態表示領域153に表示するとともに、そのCDプレーヤの操作状態に応じた制御信号をリモートコントローラ800に出力する。リモートコントローラ800は、その制御信号をCDプレーヤ900に出力して、CDプレーヤ900を操作する。
【0055】
図21の画面710に表示された終了ボタン154を図示しないマウスにて操作すると(S340)、S350に移行する。S350では、コンピュータ600は図21の表示から図22に示す表示に変え、USBメモリ910をコネクタ920から外すことをガイド表示し、USBメモリ910が外されたか否かを判定する。S350において、USBメモリ910が外されると、コンピュータ600はこのフローチャートを終了する。
【0056】
上記実施の形態によれば、以下(1)〜(4)に示す効果を有する。
(1) 本実施形態の制御装置100は、生体反応を検出する生体反応検出装置200(生体反応検出手段)と、生体反応検出装置200が検出した信号に基づいて、生体反応の時系列的な組み合わせ単位を判定するコンピュータ600(単位判定手段)とを備えている。そして、コンピュータ600は、判定された生体反応の時系列的な組み合わせ単位の種類に応じてCDプレーヤ900(機器)の制御信号を出力する制御信号生成手段として機能する。
【0057】
又、本実施形態の機器の制御方法では、まず、生体反応を検出し(生体反応検出ステップ)、次に、前記ステップで検出した信号に基づいて、生体反応の時系列的な組み合わせ単位を判定した(単位判定ステップ)。そして、前記ステップによって判定された生体反応の時系列的な組み合わせ単位の種類に応じて機器の制御信号を出力する(制御信号生成ステップ)ようにした。
【0058】
この結果、制御装置100及び機器の制御方法では、生体反応の組み合わせ単位を検出することによって、操作者の無意識による生体信号と、意識的な生体信号の発生とを識別でき、機器の誤動作を防止することができる。
【0059】
このため、本技術は日常生活に生体反応を利用した製品が普及していくなかで、欠かすことができない技術となりうる。又、操作者Hに障害などにより、通常の機器操作に支障がある場合、本制御装置100によって、誤作動が少ない安定した操作機能を提供することができる。
【0060】
(2) 本実施形態の制御装置100のコンピュータ600は、訓練モードボタン51を操作すると、訓練モードに設定する訓練モード設定手段とした。そして、訓練モード時に、操作者Hに複数の生体反応の時系列的な組み合わせをガイドして、該複数の生体反応の生成を促すディスプレイ700をガイド手段とした。又、訓練モード時に、コンピュータ600(生体反応検出手段)が検出した信号に基づいて、複数の生体反応の時系列的な組み合わせ単位を判定するようにした。又、コンピュータ600は、その判定結果と、ディスプレイ700が促した複数の生体反応の時系列的な組み合わせ単位とが合致するか否かを判断する判定手段として機能する。そして、制御装置100は、コンピュータ600(判定手段)の合致判断結果を、「検出」の欄72において、生体信号の時系列的な組み合わせ単位が検出された場合、点灯したランプマークが表示されるようにして報知するディスプレイ700(報知手段)を備える。
【0061】
この結果、訓練モードにおいて、コンピュータ600が生体反応の組み合わせ単位が検出できるまで、操作者Hは、生体反応の発生の訓練を好適に受けることができる。
【0062】
(3) 本実施形態の制御装置100は、生体反応の時系列的な組み合わせ単位を第1インデックスとし、かつ、機器の操作項目を第2インデックスとしたとき、互いに異なる複数の前記第1インデックスと、互いに異なる複数の前記第2インデックスとを記憶する記憶装置610(第1記憶手段)を備える。又、制御装置100は、複数の第1インデックス及び複数の第2インデックスの中から、それぞれ特定のインデックスを選択する入力装置620(選択手段)と、入力装置620の選択に基づいて、特定された第1インデックスと第2インデックスとを関連付けするコンピュータ600(関連付け手段)を備える。又、制御装置100は、関連付けされた両インデックスデータを記憶するUSBメモリ910(第2記憶手段)を備える。さらに、制御装置100は、コンピュータ600が生体反応の時系列的な組み合わせ単位を判定した際に、コンピュータ600を、その判定した生体反応の時系列的な組み合わせ単位に対応する第1インデックスがあるか否かを互いに関連付けされた両インデックスデータ中から探索する探索手段とした。そして、制御装置100のコンピュータ600(制御信号生成手段)は、探索して得られた第1インデックスと関連付けされた第2インデックスに対応する機器の制御信号を出力するようにした。
【0063】
この結果、第1インデックスと第2インデックスとを任意に組み合わせることができ、操作者ができる生体反応の組み合わせ単位を機器の操作項目に関連付けすることができる。
【0064】
(4) 本実施形態の制御装置100は、USBメモリ910(第2記憶手段)を着脱可能に装着するコネクタ920(装着手段)を備えた。
又、USBメモリ910に互いに関連付けされた両インデックスデータが記憶されている。このため、複数の操作者Hがいる場合、USBメモリ910をコネクタ920に装着するだけで、操作者Hができる生体反応の組み合わせ単位と機器の操作項目とが関連付けされた両インデックスデータを操作者H毎に得ることができる。
【0065】
又、制御装置100では、USBメモリ910に記憶され、互いに関連付けされた両インデックスデータを利用することができ、コンピュータ600側では、多くの記憶容量を備えた記憶装置610を用意する必要がない。
【0066】
なお、本発明の実施形態は上記実施の形態に限定されるものではなく、発明の趣旨を逸脱しない範囲で、適宜に変更して次のように実施することもできる。
(1) 前記実施形態では、脳波と筋電を検出するようにしたが、生体反応としての眼球運動を検出するようにしてもよい。例えば、光学的な方法としてリンバーストラッカ法、角膜反射法がある。この方法では、CCDカメラ等の検出装置にて眼球運動を検出してもよい。
【0067】
又、眼電図(EOG)を使用してもよい。すなわち、角膜と網膜の間には常に一定の電位差(角膜−網膜電位)があり、角膜がプラス、網膜がマイナスに帯電するという性質がある。目を挟んだ両側に生体反応検出手段として電極を装着すれば、角膜が近づいた方の電極がプラス、網膜が近づいた方がマイナスになる。眼球を逆に振れば、極性が反転する。このように眼球運動により生じた電位(以下、眼電という)を検出することにより、眼球運動を検出できる。特に、眼球の変位角とEOGの比例関係は、水平方向の動きには30°前後、垂直方向には10°前後まである。
【0068】
(2) 前記実施形態では、かみしめの場合の筋電を検出するようにしたが、これに限定するものではなく、口の動きや、手の動き、足の動き、体の動き等の筋電を検出する生体反応検出手段としてもよい。
【0069】
(3) 第2記憶手段としてUSBメモリ910の代わりに、PCカード型メモリやCF(コンパクトフラッシュ(登録商標))カード等のメモリカードとしてもよい。この場合、装着手段としては、PCカード型メモリや、メモリカードを着脱可能なコネクタとする。
【0070】
なお、第2記憶手段としては、コンピュータ600に対して離脱不能な記憶装置に具体化してもよい。例えば、記憶装置610を第2記憶手段としてもよく、すなわち、第1記憶手段と第2記憶手段とを同一の記憶装置としてもよく、又、記憶装置610とは別個の記憶装置を設けても良い。
【0071】
又、通信などの手段を使って、コンピュータ600と分離した他の装置に設けた記憶装置でもよく、要は、操作者Hができる生体反応の組み合わせ単位と機器の操作項目とが関連付けされた両インデックスデータを操作者H毎に得ることができればよい。
【0072】
(4) 前記実施形態では、機器としてCDプレーヤ900に具体化したが、音響機器や、他の家電機器に具体化してもよい。又、家電機器に限らず、工場等に設置される生産機器、事務機器等に具体化してもよい。
【0073】
【発明の効果】
以上詳述したように請求項1乃至請求項7に記載の発明によれば、操作者の無意識による生体信号と、意識的な生体信号の発生とを識別でき、機器の誤動作を防止することができる。又、操作者に障害などにより、通常の機器操作に支障がある場合、誤作動が少ない安定した操作機能を提供することができる。
【図面の簡単な説明】
【図1】制御装置100の概略の電気ブロック図。
【図2】生体反応検出装置200の正面図
【図3】生体反応検出装置200の平面図。
【図4】生体反応検出装置200の使用状態の説明図。
【図5】「10−20法」の電極配置図。
【図6】コンピュータ600が実行するフローチャート。
【図7】コンピュータ600が実行するフローチャート。
【図8】(a)及び(b)はコンピュータ600が実行するフローチャート。
【図9】コンピュータ600が実行するフローチャート。
【図10】コンピュータ600が実行するフローチャート。
【図11】コンピュータ600が実行するフローチャート。
【図12】ディスプレイ700の画面710の説明図。
【図13】ディスプレイ700の画面710の説明図。
【図14】ディスプレイ700の画面710の説明図。
【図15】ディスプレイ700の画面710の説明図。
【図16】ディスプレイ700の画面710の説明図。
【図17】ディスプレイ700の画面710の説明図。
【図18】ディスプレイ700の画面710の説明図。
【図19】ディスプレイ700の画面710の説明図。
【図20】ディスプレイ700の画面710の説明図。
【図21】ディスプレイ700の画面710の説明図。
【図22】ディスプレイ700の画面710の説明図。
【図23】状態遷移図。
【符号の説明】
100…制御装置
200…生体反応検出装置(生体反応検出手段)
300…プロセッサーボックス
600…コンピュータ(単位判定手段、制御信号生成手段、訓練モード設定手段、判定手段、関連付け手段、探索手段)
610…記憶装置(第1記憶手段)
620…入力装置(選択手段)
700…ディスプレイ(報知手段、ガイド手段)
900…CDプレーヤ
910…USBメモリ(第2記憶手段)
920…コネクタ(装着手段)
Claims (7)
- 生体反応を検出する生体反応検出手段と、
前記生体反応検出手段が検出した信号に基づいて、生体反応の時系列的な組み合わせ単位を判定する単位判定手段と、
前記単位判定手段によって判定された生体反応の時系列的な組み合わせ単位の種類に応じて機器の制御信号を出力する制御信号生成手段とを
備えたことを特徴とする生体反応利用機器制御装置。 - 前記生体反応検出手段は、操作者の脳波、眼電、筋電の中から少なくとも1つを検出することを特徴とする請求項1に記載の生体反応利用機器制御装置。
- 請求項1において、
訓練モードに設定する訓練モード設定手段と、
訓練モード時に、操作者に複数の生体反応の時系列的な組み合わせをガイドして、該複数の生体反応の生成を促すガイド手段と、
訓練モード時に、前記生体反応検出手段が検出した信号に基づいて、複数の生体反応の時系列的な組み合わせ単位を判定し、その判定結果と、前記ガイド手段が促した複数の生体反応の時系列的な組み合わせ単位とが合致するか否かを判断する判定手段と、
前記判定手段の合致判断結果を報知する報知手段とを
備えたことを特徴とする生体反応利用機器制御装置。 - 生体反応の時系列的な組み合わせ単位を第1インデックスとし、かつ、機器の操作項目を第2インデックスとしたとき、互いに異なる複数の前記第1インデックスと、互いに異なる複数の前記第2インデックスとを記憶する第1記憶手段と、前記複数の第1インデックス及び複数の第2インデックスの中から、それぞれ特定のインデックスを選択する選択手段と、前記選択手段の選択に基づいて、特定された第1インデックスと第2インデックスとを関連付けする関連付け手段と、前記関連付け手段にて関連付けされた両インデックスデータを記憶する第2記憶手段と、前記単位判定手段が生体反応の時系列的な組み合わせ単位を判定した際に、その判定した生体反応の時系列的な組み合わせ単位に対応する第1インデックスがあるか否かを前記互いに関連付けされた両インデックスデータ中から探索する探索手段とを備え、前記制御信号生成手段は、前記探索手段が探索して得られた第1インデックスと関連付けされた第2インデックスに対応する機器の制御信号を出力することを特徴とする請求項1に記載の生体反応利用機器制御装置。
- 前記第2記憶手段を着脱可能に装着する装着手段を備えたことを特徴とする請求項4に記載の生体反応利用機器制御装置。
- 生体反応を検出する生体反応検出ステップと、
前記生体反応検出ステップで検出した信号に基づいて、生体反応の時系列的な組み合わせ単位を判定する単位判定ステップと、
前記単位判定ステップによって判定された生体反応の時系列的な組み合わせ単位の種類に応じて機器の制御信号を出力する制御信号生成ステップとを
備えたことを特徴とする機器の制御方法。 - 前記生体反応検出ステップは、操作者の脳波、眼電、筋電の中から少なくとも1つを検出することを特徴とする請求項6に記載の機器の制御方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003178581A JP2005018167A (ja) | 2003-06-23 | 2003-06-23 | 生体反応利用機器制御装置及び機器の制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003178581A JP2005018167A (ja) | 2003-06-23 | 2003-06-23 | 生体反応利用機器制御装置及び機器の制御方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005018167A true JP2005018167A (ja) | 2005-01-20 |
Family
ID=34180153
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003178581A Pending JP2005018167A (ja) | 2003-06-23 | 2003-06-23 | 生体反応利用機器制御装置及び機器の制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005018167A (ja) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006340986A (ja) * | 2005-06-10 | 2006-12-21 | Ntt Docomo Inc | 顔面情報検出装置および顔面情報検出式通信装置 |
JP2008204135A (ja) * | 2007-02-20 | 2008-09-04 | Okayama Univ | 脳波−運動指令変換装置 |
EP2371286A1 (en) * | 2009-10-29 | 2011-10-05 | Panasonic Corporation | Organism fatigue evaluation device and organism fatigue evaluation method |
US8473045B2 (en) | 2008-07-11 | 2013-06-25 | Panasonic Corporation | Method for controlling device by using brain wave and brain wave interface system |
JP2015102650A (ja) * | 2013-11-25 | 2015-06-04 | 株式会社ニコン | 撮像制御装置および撮像装置 |
JP2017058853A (ja) * | 2015-09-15 | 2017-03-23 | 株式会社コーエーテクモゲームス | 情報処理装置、動作制御方法、及び動作制御プログラム |
JP2019025070A (ja) * | 2017-07-31 | 2019-02-21 | 株式会社東芝 | 眼電位検出装置、帽子及びヘッドウェア |
JP2021089544A (ja) * | 2019-12-03 | 2021-06-10 | 富士フイルムビジネスイノベーション株式会社 | 情報処理システム及びプログラム |
WO2022019545A1 (ko) * | 2020-07-22 | 2022-01-27 | 사회복지법인 삼성생명공익재단 | 사용자의 심리가 안정화되도록 사용자에게 긴장이완 훈련을 위한 가상 현실 컨텐츠를 제공하는 시스템 및 방법 |
CN114431879A (zh) * | 2021-12-24 | 2022-05-06 | 南京邮电大学 | 一种基于脑电图的眨眼咬牙判断方法及*** |
KR20220130377A (ko) * | 2021-03-18 | 2022-09-27 | 재단법인대구경북과학기술원 | 심리생리학적 지표 측정을 통한 공격성 특질 분석 및 모니터링 시스템 |
-
2003
- 2003-06-23 JP JP2003178581A patent/JP2005018167A/ja active Pending
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006340986A (ja) * | 2005-06-10 | 2006-12-21 | Ntt Docomo Inc | 顔面情報検出装置および顔面情報検出式通信装置 |
JP4722573B2 (ja) * | 2005-06-10 | 2011-07-13 | 株式会社エヌ・ティ・ティ・ドコモ | 顔面情報検出装置および顔面情報検出式通信装置 |
JP2008204135A (ja) * | 2007-02-20 | 2008-09-04 | Okayama Univ | 脳波−運動指令変換装置 |
US8473045B2 (en) | 2008-07-11 | 2013-06-25 | Panasonic Corporation | Method for controlling device by using brain wave and brain wave interface system |
EP2371286A1 (en) * | 2009-10-29 | 2011-10-05 | Panasonic Corporation | Organism fatigue evaluation device and organism fatigue evaluation method |
EP2371286A4 (en) * | 2009-10-29 | 2014-04-09 | Panasonic Corp | DEVICE AND METHOD FOR ASSESSING THE FATIGUE OF AN ORGANISM |
JP2015102650A (ja) * | 2013-11-25 | 2015-06-04 | 株式会社ニコン | 撮像制御装置および撮像装置 |
JP2017058853A (ja) * | 2015-09-15 | 2017-03-23 | 株式会社コーエーテクモゲームス | 情報処理装置、動作制御方法、及び動作制御プログラム |
JP2019025070A (ja) * | 2017-07-31 | 2019-02-21 | 株式会社東芝 | 眼電位検出装置、帽子及びヘッドウェア |
JP2021089544A (ja) * | 2019-12-03 | 2021-06-10 | 富士フイルムビジネスイノベーション株式会社 | 情報処理システム及びプログラム |
JP7320261B2 (ja) | 2019-12-03 | 2023-08-03 | 株式会社Agama-X | 情報処理システム、方法、及びプログラム |
WO2022019545A1 (ko) * | 2020-07-22 | 2022-01-27 | 사회복지법인 삼성생명공익재단 | 사용자의 심리가 안정화되도록 사용자에게 긴장이완 훈련을 위한 가상 현실 컨텐츠를 제공하는 시스템 및 방법 |
KR20220130377A (ko) * | 2021-03-18 | 2022-09-27 | 재단법인대구경북과학기술원 | 심리생리학적 지표 측정을 통한 공격성 특질 분석 및 모니터링 시스템 |
KR102495649B1 (ko) * | 2021-03-18 | 2023-02-06 | 재단법인대구경북과학기술원 | 심리생리학적 지표 측정을 통한 공격성 특질 분석 및 모니터링 시스템 |
CN114431879A (zh) * | 2021-12-24 | 2022-05-06 | 南京邮电大学 | 一种基于脑电图的眨眼咬牙判断方法及*** |
CN114431879B (zh) * | 2021-12-24 | 2024-04-16 | 南京邮电大学 | 一种基于脑电图的眨眼咬牙判断方法及*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230195222A1 (en) | Methods and Systems for Obtaining, Aggregating, and Analyzing Vision Data to Assess a Person's Vision Performance | |
US8473045B2 (en) | Method for controlling device by using brain wave and brain wave interface system | |
US12001602B2 (en) | Brain-computer interface with adaptations for high-speed, accurate, and intuitive user interactions | |
Lotte et al. | Electroencephalography (EEG)-based brain-computer interfaces | |
Gürkök et al. | Brain–computer interfaces for multimodal interaction: a survey and principles | |
KR20200101906A (ko) | 고속 눈 추적 피처들을 갖는 뇌-컴퓨터 인터페이스 | |
KR102361026B1 (ko) | 생체신호 측정 장치 | |
JP4531864B2 (ja) | 咀嚼筋電を用いたインタフェースシステム | |
JP2005018167A (ja) | 生体反応利用機器制御装置及び機器の制御方法 | |
KR101571848B1 (ko) | 뇌전도 및 눈동자 움직임 기반 하이브리드형 인터페이스 장치 및 이의 제어 방법 | |
CUMMING | Eye movements and visual perception | |
RU2725782C2 (ru) | Система для коммуникации пользователей без использования мышечных движений и речи | |
Villalobos et al. | When assistive eye tracking fails: Communicating with a brainstem-stroke patient through the pupillary accommodative response–A case study | |
US11662819B2 (en) | Method for interpreting a word, phrase, and/or command from electromagnetic brain activity | |
Yasemin et al. | Emotional state estimation using sensor fusion of EEG and EDA | |
da Silveira et al. | Physiological Data for User Experience and Quality of Experience: A Systematic Review (2018–2022) | |
Gusso et al. | More than a feeling: scalp EEG and eye correlates of conscious tactile perception | |
Bulling | Eye movement analysis for context inference and cognitive-awareness: Wearable sensing and activity recognition using electrooculography | |
CN221450632U (zh) | 脑电生物反馈治疗仪 | |
Kaya | High rate quasi-steady-state pattern visual evoked potentials for brain-computer Interface | |
Hanna | Wearable Hybrid Brain Computer Interface as a Pathway for Environmental Control | |
JP2023152840A (ja) | 情報処理装置及び情報処理方法 | |
Vi | Designing Interactive Applications Using Active and Passive EEG-based BCI Systems | |
Patmore | Toward using the brain and the eye to guide a computer: visual evoked response and electrooculogram in a novel control pairing |