JP5472746B2 - Communication support device and method - Google Patents

Communication support device and method Download PDF

Info

Publication number
JP5472746B2
JP5472746B2 JP2010216749A JP2010216749A JP5472746B2 JP 5472746 B2 JP5472746 B2 JP 5472746B2 JP 2010216749 A JP2010216749 A JP 2010216749A JP 2010216749 A JP2010216749 A JP 2010216749A JP 5472746 B2 JP5472746 B2 JP 5472746B2
Authority
JP
Japan
Prior art keywords
message
stimulus
brain
decision
electroencephalogram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010216749A
Other languages
Japanese (ja)
Other versions
JP2012073329A (en
Inventor
良平 長谷川
由香子 長谷川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Institute of Advanced Industrial Science and Technology AIST
Original Assignee
National Institute of Advanced Industrial Science and Technology AIST
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Institute of Advanced Industrial Science and Technology AIST filed Critical National Institute of Advanced Industrial Science and Technology AIST
Priority to JP2010216749A priority Critical patent/JP5472746B2/en
Publication of JP2012073329A publication Critical patent/JP2012073329A/en
Application granted granted Critical
Publication of JP5472746B2 publication Critical patent/JP5472746B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、発話や書字が困難な重度の運動障害者でも、脳活動により意思を伝達できる意思伝達支援装置及び方法に関する。   The present invention relates to a communication support apparatus and method capable of transmitting intentions by brain activity even for a severely disabled person who is difficult to speak or write.

現在、情報科学分野、医工学応用分野、脳活動による福祉機器制御の分野において、機器の操作は、各種スイッチ、ジョイスティックやマウス等の手による入力操作が主である。一方、介護福祉機器等の開発分野では、手足が不自由な操作者のために身体の他の部分で操作できる機器が望まれている。   Currently, in the fields of information science, medical engineering application, and welfare equipment control through brain activity, equipment operations are mainly input operations with various switches, joysticks, mice, and the like. On the other hand, in the field of development of care welfare equipment and the like, there is a demand for equipment that can be operated on other parts of the body for an operator who is handicapped.

従来から、文字盤あるいは絵カードなどの発話を補助するものがある。また、言語機能や聴覚に障害を持つ利用者の会話を補助する機器に関する技術は、例えば特許文献1および2に示されている。特許文献1には、五十音の文字盤の文字をブロックごとに順次点灯して選択させる技術や身体ケアのリクエストを選ぶメッセージボードを用いる技術が示されている。特許文献2には、携帯情報端末を用いるシンボル表示を選択するコミュニケーション支援システムが示されている。しかしながら、介護福祉機器の開発分野では、老人や病人などの複雑な入力操作が不可能な操作者のために、操作を必要としないで直接的に意思を伝えることができる機器が望まれている。また、発話障害のある患者や老人にとって、基本的な身の回りの介護や気持ち等の意思を、より簡単に介助者に伝えることのできる機器が望まれている。   Conventionally, there are those that assist the utterance of a dial or a picture card. Moreover, the technique regarding the apparatus which assists the conversation of the user with a language function or a hearing disorder is shown by patent document 1 and 2, for example. Japanese Patent Application Laid-Open No. H10-228688 discloses a technique for sequentially turning on and selecting characters of a 50-tone dial for each block and a technique using a message board for selecting a request for physical care. Patent Literature 2 discloses a communication support system that selects symbol display using a portable information terminal. However, in the field of care and welfare equipment development, there is a demand for equipment that can communicate directly without requiring operation for operators who cannot perform complicated input operations such as elderly people and sick people. . In addition, there is a demand for a device that can more easily convey to the caregiver the basic personal care and feelings for patients and elderly people with speech disabilities.

近年、脳科学の進歩により、人の思考や行動と脳活動との関係性について様々な研究がなされている。脳活動などの生体信号に着目して外部機器を制御したり、他者に意思を伝達したりするBrain−Machine Interface(BMI)技術が注目されている。   In recent years, with the advancement of brain science, various studies have been conducted on the relationship between human thought and behavior and brain activity. The Brain-Machine Interface (BMI) technology, which focuses on biological signals such as brain activity, controls external devices and transmits intentions to others, has attracted attention.

例えば、脳波のリアルタイム計測によって一文字ずつアルファベットを選択するシステムの開発に関する研究が知られている(非特許文献1参照)。   For example, research on the development of a system that selects alphabets one by one by real-time measurement of brain waves is known (see Non-Patent Document 1).

本発明者達は、動物の脳内に設置した電極による単一ニューロンの活動電位の細胞外記録という計測手法とニューロン集団活動のシミュレーションによって、複数の外部刺激(実験条件)が脳内でどのような関係性があると表現されているかを低次元の空間情報として推定できることを示した(非特許文献2参照)。しかしながら、脳活動についてはまだまだ未知な部分が多く、またその計測方法には制約がある。   The inventors of the present invention have described how a plurality of external stimuli (experimental conditions) can be detected in the brain by a measurement technique called extracellular recording of action potential of a single neuron with electrodes placed in the brain of an animal and simulation of neuron group activity. It was shown that it can be estimated as low-dimensional spatial information whether it is expressed that there is a special relationship (see Non-Patent Document 2). However, there are still many unknown parts regarding brain activity, and the measurement method is limited.

また、本発明者達は、仮想意思決定関数を提案し、その計算方法を示した(非特許文献3参照)。非特許文献3には、単一ニューロン活動を例にとって神経活動から二者択一の行動予測方法を示している。   In addition, the present inventors proposed a virtual decision-making function and showed a calculation method thereof (see Non-Patent Document 3). Non-Patent Document 3 shows a behavior prediction method that can be selected from neural activity using single neuron activity as an example.

特開2004−286768号公報JP 2004-286768 A 特開2003−255825号公報JP 2003-255825 A

L.A.Farwell他,“Talking off the top of your head:toward a mental prosthesis utilizing event−related brain potentials” Electroencephalography and clinical Neurophysiology,70(1988)p510−523L. A. Farwell et al., “Talking off the top of your head: how a mental prosthesis utility-relative brain potency 5” Electroencephalology and chemistry 23 松本有央、長谷川良平「前頭連合野ニューロン集団の単一試行活動に基づく多次元意志決定の予測」Neuroscience Research,vol.58,Supplement 1,pageS161(P2−f34),2007Y. Matsumoto, Ryohei Hasegawa “Prediction of Multidimensional Decision Making Based on Single-Trial Activity of Frontal Association Neuron Population” Neuroscience Research, vol. 58, Supplement 1, pageS161 (P2-f34), 2007 長谷川良平他「Single trial−based prediction of a go/no−go decision in monkey superior colliculus」 Neural Networks 19(2006)1223−1232Ryohei Hasegawa et al. “Single tri-based prediction of a go / no-go decision in monkey superior collulus”, Neural Networks 19 (2006) 1223-1232.

手足等を使うことなく、できるだけ簡単な操作で意思を伝えることができる機器が望まれている。しかしながら、これらの目的で研究開発された新たな各種入力装置はそれぞれ独自の入力方式や入力装置が必要であり、各種入力装置をそれぞれ購入しなければならず、またそれぞれの操作を習得するのに時間がかかるという問題がある。   There is a demand for a device that can communicate an intention as easily as possible without using limbs. However, each new input device researched and developed for these purposes requires its own input method and input device, and each input device must be purchased and used to learn each operation. There is a problem that it takes time.

脳活動を機能的MRI(fMRI)等の装置を使って調べる技術では、MRI装置の中で測定する必要があるので、入力操作をリアルタイムで行うことが不可能であり、大型の装置を必要とする問題がある。   In a technique for examining brain activity using a device such as functional MRI (fMRI), it is necessary to measure in the MRI device, and therefore it is impossible to perform an input operation in real time, and a large device is required. There is a problem to do.

従来の意思伝達に関する研究で提案されている装置では、脳波等の生体情報を測定するには、ノイズが大きく、正解の確率が低く、判定まで時間がかかるという問題があった。   In the device proposed in the conventional research on communication, there is a problem that measuring biological information such as an electroencephalogram has a large noise, the probability of correct answer is low, and it takes time until the determination.

特に、従来の上記BMI技術のコアとなるのが、脳内意思決定をリアルタイムで解読する技術である。しかし、S/N比の悪い頭皮上脳波記録、あるいは同時記録できる数の少ないニューロン活動記録条件下では、正確かつ迅速に脳内意思決定を解読するのは極めて困難である。例えば、パソコン画面上に選択肢となる視覚刺激を複数個提示し、それらを疑似ランダムにフラッシュ(点灯)することによって得られる誘発脳波(刺激提示後300ミリ秒後の陽性の電位変化等のP300と呼ばれる事象関連脳波)の反応の強さによって、操作者が選択した選択肢を予測又は推測する手法が用いられている。その際、提示回数を増やすと予測精度が高くなる一方、時間がかかるという問題があり、リアルタイムで、脳内意思を解読することは困難であった。   In particular, the core of the conventional BMI technology is a technology that decodes brain decision making in real time. However, it is extremely difficult to decode the brain decision accurately and rapidly under the condition of scalp electroencephalogram recording with a poor S / N ratio or the number of neuron activities that can be recorded simultaneously. For example, an evoked electroencephalogram obtained by presenting a plurality of visual stimuli as options on a personal computer screen and flashing (lighting) them pseudorandomly (P300 such as a positive potential change 300 ms after the stimulus is presented) A method of predicting or inferring an option selected by the operator is used according to the intensity of the response of the event-related electroencephalogram called. At that time, when the number of presentations is increased, the accuracy of prediction becomes high, but there is a problem that it takes time, and it is difficult to decipher the intention in the brain in real time.

また、従来の技術では、二択や三択など選択肢の数が少なく、多様なメッセージを伝達することが困難であった。また、脳活動に着目した従来的な意思伝達は、多様性が無いか、あるいはメッセージを一文字ずつ入力するために莫大な時間を要していた。   Further, in the conventional technology, there are few options such as two choices and three choices, and it is difficult to transmit various messages. In addition, conventional communication that focuses on brain activity is not diverse, or it takes an enormous amount of time to input messages one by one.

本発明は、これらの問題を解決しようとするものであり、重度ALS患者等の発話障害のある患者や老人等の利用者(被験者とも呼ぶ)の脳内意思を短時間で解析してメッセージを伝達することを目的とする。また、利用者が、基本的な身の回りの介護や気持ち等の意思を、より簡単に直接的に介助者に伝えることのできる装置及び方法を提供することを目的とする。また、利用者の多様なメッセージを伝達可能とし、特に重度運動機能障害者の日常的な「生活の質」の向上と社会参加を促進させることを目的とする。   The present invention is intended to solve these problems, and analyzes the intention in the brain of a patient (also referred to as a test subject) such as a patient with speech impairment such as a severe ALS patient or an elderly person, and sends a message. The purpose is to communicate. It is another object of the present invention to provide an apparatus and method that allow a user to more easily and directly convey the intentions of personal care and feelings to a caregiver. In addition, it aims to make it possible for users to communicate various messages, and in particular, to improve the daily “quality of life” and promote social participation of people with severe motor impairment.

本発明は、前記目的を達成するために、本発明者が開発した「仮想意思決定関数」という、意思決定の脳内過程を定量化する手法により実現するものである。仮想意思決定関数は、元来、脳内の意思決定機構を調べるために考案された基礎的研究のための解析手法であり、脳内設置電極によって記録されたニューロン活動のミリ秒単位の時間経過から、後に観察される二者択一的意思決定の形成過程の推定に役立つものであった(非特許文献3参照)。本発明では、この仮想意思決定関数の概念を大幅に拡張し、脳波計測による意思解析手法として活用したものである。また、本発明では、超小型のモバイル脳波計と、高速・高精度の脳内意思解読アルゴリズムにより、意思伝達を支援するものである。特に、発話や書字が困難な重度の運動障害者でも脳活動により意思を伝達できるようにするために、メッセージの構成要素を階層的に構築し、これらの組み合わせにより、最大500種類以上のメッセージが生成可能とし、アバター(自分の分身となるCG:コンピューターグラフィックス)がメッセージを人工音声で読み上げるものである。   In order to achieve the above object, the present invention is realized by a method of quantifying a brain process of decision making called “virtual decision making function” developed by the present inventor. The virtual decision function is an analysis method for basic research originally designed to investigate the decision-making mechanism in the brain. The time course of the neuronal activity recorded by the electrodes placed in the brain in milliseconds. Therefore, it was useful for estimating the formation process of alternative decision making observed later (see Non-Patent Document 3). In the present invention, the concept of this virtual decision-making function is greatly expanded and utilized as an intention analysis technique based on electroencephalogram measurement. Further, in the present invention, communication is supported by an ultra-small mobile electroencephalograph and a high-speed and high-accuracy brain decoding algorithm. In particular, in order to make it possible for even people with severe movement disabilities who have difficulty in speaking and writing to communicate their intentions through brain activity, message components are hierarchically constructed, and by combining these, a maximum of 500 types of messages can be created. Can be generated, and an avatar (CG: computer graphics, which is his alternation) reads out the message with an artificial voice.

本発明は、前記目的を達成するために、以下の特徴を有するものである。   The present invention has the following features in order to achieve the above object.

本発明の装置は、刺激を提示する刺激提示装置と、該刺激提示装置による刺激提示後の脳波を計測する脳波計と、該脳波計からの脳波データを処理する処理装置と、意思表示装置とを備える意思伝達支援装置であって、前記刺激提示装置は、メッセージの構成要素を階層的にデータベース化して蓄積された該構成要素を、刺激として、各階層の選択場面で複数提示し、前記脳波計は、ヘッドキャップに取り付けられた電極により頭皮上脳波を計測して、無線通信により前記処理装置に脳波データを送信し、前記処理装置は、前記脳波データを解析して、認知課題である該構成要素の1試行毎の意思決定に係わる脳内処理過程を推定する関数により、特定の意思決定が脳内でなされたと判断し、該判断の結果の構成要素を組み合わせてメッセージを作成して、前記意思表示装置に出力し、前記意思表示装置は、前記メッセージを表示又は音声出力することを特徴とする。   An apparatus of the present invention includes a stimulus presentation device that presents a stimulus, an electroencephalograph that measures an electroencephalogram after the stimulus presentation by the stimulus presenting device, a processing device that processes electroencephalogram data from the electroencephalograph, and an intention display device The stimulus presentation device comprises a plurality of component elements of a message stored in a hierarchical database as a stimulus in a selection scene of each layer, and the electroencephalogram The meter measures an electroencephalogram on the scalp with an electrode attached to a head cap, and transmits electroencephalogram data to the processing device by wireless communication, and the processing device analyzes the electroencephalogram data and It is determined that a specific decision has been made in the brain by a function that estimates the brain processing process related to decision making for each trial of the component, and a message obtained by combining the components as a result of the determination is determined. Create a is outputted to the intention display device, the intention display device, and displaying or voice output the message.

本発明の装置において、前記刺激提示装置は、前記構成要素を擬似ランダムにフラッシュして提示する表示画面を備え、前記処理装置からの、脳内意思決定がなされたという判断結果の出力を受けて、フラッシュ刺激提示を打ち切るようにするとよい。各階層の前記選択場面は、各階層の選択のための表示画面に対応している。また、具体的には、前記脳内処理過程を推定する関数は、脳活動と意思決定の結果との関連を多変量解析の手法を用いて意思決定を定量化する関数である。また、本発明において、前記意思表示装置は、利用者が登録したアバターが前記メッセージを音声出力することが好ましい。介助者は、誰がメッセージを発しているのかを即理解することができる。   In the apparatus of the present invention, the stimulus presentation device includes a display screen that presents the constituent elements by flashing pseudo-randomly, and receives an output of a determination result from the processing device that a decision in the brain has been made. It is recommended that the flash stimulus presentation be discontinued. The selection scene of each layer corresponds to a display screen for selecting each layer. Specifically, the function for estimating the intracerebral processing process is a function for quantifying the decision making by using a multivariate analysis technique for the relationship between the brain activity and the decision making result. In the present invention, it is preferable that the intention display device outputs a voice of the message by an avatar registered by a user. The caregiver can immediately understand who is sending the message.

本発明の方法は、意思伝達支援方法であって、メッセージの構成要素を階層的にデータベース化して蓄積し、刺激提示装置により、該構成要素を刺激として、各階層の選択場面で複数提示すると共に、脳波計により、該刺激提示後の脳波を計測して、無線通信により脳波データを処理装置に送信し、該処理装置により、前記脳波データを解析して、認知課題である該構成要素の1試行毎の意思決定に係わる脳内処理過程を推定する関数により、特定の意思決定が脳内でなされたと判断し、該判断の結果の該構成要素を組み合わせてメッセージを作成し、前記メッセージを表示又は音声出力することを特徴とする。本発明の方法において、前記刺激提示装置は、前記構成要素を擬似ランダムにフラッシュして提示し、前記処理装置からの、脳内意思決定がなされたという判断結果の出力を受けて、フラッシュ刺激提示を打ち切ることが好ましい。   The method of the present invention is a communication support method, in which the constituent elements of a message are hierarchically stored in a database, and a plurality of the constituent elements are presented as stimuli by a stimulus presentation device and displayed in selected scenes of each hierarchy. The electroencephalogram after the stimulus presentation is measured by an electroencephalograph, the electroencephalogram data is transmitted to the processing device by wireless communication, the electroencephalogram data is analyzed by the processing device, and one of the constituent elements that is a cognitive task It is determined that a specific decision-making has been made in the brain by a function that estimates the brain processing process related to the decision-making for each trial, a message is created by combining the constituent elements of the result of the determination, and the message is displayed. Or, it outputs sound. In the method of the present invention, the stimulus presentation device flashes and presents the constituent elements in a pseudo-random manner, and receives the output of the determination result that the decision making in the brain has been made from the processing device. Is preferably cut off.

本発明によれば、発話障害や書字が困難な患者等の重度の運動障害者でも脳活動により意思を伝達できる。本発明によれば、超小型のモバイル脳波計と高速・高精度の脳内意思解読アルゴリズムにより、操作性に優れる。本発明によれば、利用者は、脳波測定のための電極を固着するだけであり、例えば電極を備えるネットや帽子を装着する感覚であり、該電極と入力装置とは無線で接続することにより、利用者の位置の自由度が高く小型化できる。さらに、本発明のように、脳波ヘッドキャップ一体型の超小型の8チャンネルの無線脳波計を用いると、ケーブルがないため、ノイズレスで、安全でかつポータブルな脳波計測、及び意思伝達が可能となる。   According to the present invention, even a person with severe movement disorder such as a patient who has difficulty in speaking or writing can communicate his / her intention through brain activity. According to the present invention, the operability is excellent due to the ultra-small mobile electroencephalograph and the high-speed and high-accuracy brain decoding algorithm. According to the present invention, the user only attaches an electrode for measuring an electroencephalogram, for example, a sense of wearing a net or a hat provided with an electrode, and the electrode and the input device are connected wirelessly. The position of the user is highly flexible and can be downsized. Furthermore, when an ultra-compact 8-channel wireless electroencephalograph integrated with an electroencephalogram head cap as in the present invention is used, since there is no cable, it is possible to perform a noise-free, safe and portable electroencephalogram measurement and communication. .

本発明によれば、階層的にメッセージの要素を選択させるので、最大500種類以上のメッセージが生成可能である。また、アバター(自分の分身となるCG:コンピューターグラフィックス)がメッセージを人工音声で読み上げることにより、利用者の意思を伝えることができ、介助者等も各利用者の区別をしてメッセージを理解することができる。特に、本発明は、意思伝達のための特殊な入力操作の習得を必要とすることがないから、発話障害のある患者や老人が、基本的な身の回りの介護や気持ち等の意思を、より簡単に直接的に介助者に伝えることができる。   According to the present invention, since elements of messages are selected hierarchically, a maximum of 500 types of messages can be generated. In addition, avatars (CG: computer graphics) can read out messages with artificial voices to convey the user's intentions, and helpers can understand the messages by distinguishing each user. can do. In particular, the present invention does not require the acquisition of special input operations for communication, so that patients and elderly people with speech disabilities can more easily make basic care and feelings around them. Can be communicated directly to the caregiver.

本発明によれば、フラッシュ刺激提示の打ち切り処理を行うことによって、脳波データの取得に必要な時間が短縮できる。   According to the present invention, the time required for acquiring electroencephalogram data can be shortened by performing the process of terminating the flash stimulus presentation.

第1の実施の形態を模式的に示す図The figure which shows 1st Embodiment typically

本発明の装置及び方法について、実施の形態により以下説明する。本発明は、超小型モバイル脳波計と、高速・高精度の脳内意思解読アルゴリズム、さらに効率的な意思伝達アプリケーションを統合した、実用的ブレイン−マシン−インターフェース(BMI)システムである。   The apparatus and method of the present invention will be described below by embodiments. The present invention is a practical brain-machine-interface (BMI) system that integrates an ultra-compact mobile electroencephalograph, a high-speed and high-accuracy brain decoding algorithm, and an efficient communication application.

(第1の実施の形態)
本実施の形態について、図1を参照して以下説明する。図1は、本実施の形態による意思伝達支援装置及び方法を模式的に示す図である。本実施例の意思伝達支援装置は、刺激提示用の表示画面1と、被験者の頭部に電極を装着したモバイル脳波計2(例えばワイヤレスで電極からの脳波を計測する小型脳波計(図は一部省略したもの))、脳波を解析する処理装置3、メッセージを表示する画面又はアバター(自分の分身となるCG:コンピューターグラフィックス)がメッセージを人工音声で読み上げる装置4からなる。刺激提示用の表示画面1を被験者に見せて、被験者の頭皮上脳波をワイヤレスで携帯可能な小型脳波計で計測する。表示画面(モニター)1には、視覚刺激として、様々なメッセージ候補の断片(構成要素)を含む複数のピクトグラムをフラッシュ提示する。伝えたいメッセージ断片(ターゲット)がフラッシュした際、脳内で「おやっ」と思った時に観察される頭皮上の脳波(P300)を検出する作業を複数回繰り返す。処理装置3により、伝えたいメッセージ候補の断片(ターゲットの構成要素)を、脳内意思解読アルゴリズムにより判別してメッセージを文章化する。該メッセージを、装置4により、アバター(分身となるCGキャラクター)によって読み上げて表出させる。図1の吹き出しは、アバターの読み上げるメッセージを模式的に表している。
(First embodiment)
This embodiment will be described below with reference to FIG. FIG. 1 is a diagram schematically showing a communication support apparatus and method according to the present embodiment. The communication support apparatus according to the present embodiment includes a display screen 1 for presenting a stimulus, and a mobile electroencephalograph 2 in which an electrode is attached to a subject's head (for example, a small electroencephalograph that wirelessly measures an electroencephalogram from an electrode (the figure is one A processing unit 3 for analyzing brain waves, a screen for displaying a message or an avatar (CG: computer graphics as a part of oneself) reads out a message with an artificial voice. The stimulus display screen 1 is shown to the subject, and the subject's scalp electroencephalogram is measured with a small-sized electroencephalograph that can be carried wirelessly. On the display screen (monitor) 1, a plurality of pictograms including various message candidate fragments (components) are flash-presented as visual stimuli. When the message fragment (target) to be transmitted is flushed, the operation of detecting the brain wave (P300) on the scalp observed when it is thought to be “Oyari” in the brain is repeated a plurality of times. The processing device 3 discriminates a fragment (target component) of a message candidate to be transmitted by using a brain-intelligence decoding algorithm, and converts the message into sentences. The message is read out and expressed by the avatar (an CG character as a substitute) by the device 4. The balloon in FIG. 1 schematically represents a message read out by the avatar.

本発明において開発した脳波計は、モバイル性の高い脳波計であり、意思伝達支援が必要な障害者が快適に装置を使ったり、外出先にも装置を持ち出したりすることができるものである。本実施例では、携帯電話の半分以下の大きさで、8チャンネルの頭皮上脳波を計測できる超小型無線脳波計を開発して用いた。従来の脳波計のようにケーブルが長いと、視野を遮ったり首に絡まったりする危険があるほか、ノイズが乗りやすく脳波計の性能が十分発揮されないという問題があった。本実施の形態の脳波計は、小型かつ無線方式であるので、ヘッドキャップに直接取り付けることができ、ユーザーの動きを制約せず、ノイズも乗りにくいという利点がある。従来の脳波計は大型で家庭用電源が必要であったが、本モバイル脳波計はコイン電池で長時間稼働するため、外出先でも使用可能である。   The electroencephalograph developed in the present invention is a highly mobile electroencephalograph, which allows a disabled person who needs support for communication to comfortably use the apparatus or take the apparatus out of the office. In this example, an ultra-compact wireless electroencephalograph was developed and used that can measure an 8-channel scalp electroencephalogram with a size less than half that of a mobile phone. If the cable is long as in the conventional electroencephalograph, there is a risk that the field of view will be interrupted and the neck will be entangled. Since the electroencephalograph of the present embodiment is small and wireless, there is an advantage that it can be directly attached to the head cap, does not restrict the movement of the user, and is difficult to ride noise. Conventional electroencephalographs are large and require a household power supply, but since this mobile electroencephalograph operates on a coin battery for a long time, it can also be used on the go.

前記脳波を解析する処理装置3は、高速・高精度の脳内意思解読アルゴリズムにより処理を行うものである。脳波で文字や図形を1つずつ入力する従来のシステムでは、PC画面上に並べて提示されている選択肢の属性(明るさや形など)を一瞬だけ変化させることを、擬似ランダムに何度か繰り返して、視覚刺激の変化によるP300誘発脳波の反応の強さの違いによってユーザーの選択を予測・推測するという手法をしばしば用いていた。その際、提示回数を増やすと予測精度が高くなるが、時間がかかる。逆に提示回数を少なくすると予測に要する時間が短くなるが、精度が悪くなるという問題があった。本実施の形態では、脳内意思決定の時間的変化を定量化するために、本発明者が開発していた「仮想意思決定関数」を活用し、高速かつ高精度で予測を行うことに成功した。1回の選択に2〜3秒という早さで90%以上の予測精度を実現している。   The processing device 3 for analyzing the electroencephalogram performs processing by a high-speed and high-accuracy brain decoding algorithm. In a conventional system that inputs characters and figures one by one with an electroencephalogram, changing the attributes (brightness, shape, etc.) of the choices that are displayed side by side on the PC screen are changed in a pseudo-random manner several times. In many cases, a method of predicting and estimating the user's selection based on the difference in the intensity of the P300-induced electroencephalogram response due to a change in visual stimulus is often used. At that time, increasing the number of presentations increases the prediction accuracy, but takes time. Conversely, if the number of presentations is reduced, the time required for prediction is shortened, but there is a problem that accuracy is deteriorated. In this embodiment, in order to quantify temporal changes in brain decision-making, the “virtual decision-making function” developed by the present inventor was utilized to succeed in making predictions at high speed and with high accuracy. did. The prediction accuracy of 90% or more is realized at a speed of 2 to 3 seconds for one selection.

ここで、「仮想意思決定関数」とは、認知課題1試行ごとの意思決定にかかわる脳内処理過程を推定する関数という。脳活動と意思決定の結果との関連を多変量解析の手法を組み合わせて分析し、意思決定がまだなされていない状態から何らかの意思決定がなされるまでの連続的な時間経過を視覚化することが可能である。仮想意思決定関数は、多変量解析の関数であり、ロジスティック関数や線形判別分析関数等である。以下具体的に説明する。脳波生波形として得たP300誘発脳波は、目標のシンボル表示(ターゲットシンボル)であるときの脳波電位と、非目標のシンボル表示であるときの脳波電位とで、各チャンネルと刺激後の経過時間によって、異なっている。仮想意思決定関数の例として、判別分析法を用いる場合は、該脳波電位の、各チャンネルと刺激後の経過時間に応じて、判別分析法の重み付け係数を求め、該重み付け係数を用いて、判別得点の計算をし、該判別得点に基づき意思決定の状態を定量化することができる。また、判別得点のみであると、解析結果にばらつきを生じることがあるので、1試行毎の成功率と判別得点とに基づき(例えば積)により意思決定の状態を定量化することができる。   Here, the “virtual decision-making function” is a function that estimates a brain processing process related to decision-making for each trial of the cognitive task. Analyzing the relationship between brain activity and decision-making results using a combination of multivariate analysis techniques, and visualizing the continuous time course from when a decision has not yet been made until some decision is made Is possible. The virtual decision function is a multivariate analysis function, such as a logistic function or a linear discriminant analysis function. This will be specifically described below. The P300-induced EEG obtained as the EEG waveform is based on the EEG potential when the target symbol is displayed (target symbol) and the EEG potential when the target is displayed as a non-target symbol. Is different. When using a discriminant analysis method as an example of a virtual decision-making function, a weighting coefficient of the discriminant analysis method is obtained according to each channel and the elapsed time after stimulation of the electroencephalogram potential, and the discriminant analysis method is used. The score can be calculated, and the state of decision-making can be quantified based on the discrimination score. Moreover, since the analysis result may vary if only the discrimination score is obtained, the state of decision-making can be quantified by (for example, product) based on the success rate for each trial and the discrimination score.

また、本実施の形態では、効率的な意思伝達支援メニューを提供するものである。脳活動に着目した従来の意思伝達装置は、メッセージの種類が少ないことや、メッセージを作るまでの時間が長いなどの問題があった。本実施の形態では、少ない操作回数で多様なメッセージを作成することができる、本発明者らが開発した「階層的メッセージ生成システム」を用いる。このシステムでは、ユーザーは、画面に提示された8種類のピクトグラム(さまざまな事象を単純な絵にした絵文字)の中から伝えたいメッセージと関連のあるものを1つ選ぶ、という作業を3回連続で行う。それら3つのピクトグラムの組み合わせ(8の3乗)で最大512種類のメッセージを作成することができる。このシステムにおいて、選択肢のピクトグラムを擬似ランダムにフラッシュしてP300(事象関連脳波と呼ばれる、刺激提示後300ミリ秒後の陽性の電位変化。)脳波を誘発する機能を追加して利用する。ピクトグラムをフラッシュしてP300を計測する方法は、着目しているシンボル表示が光った瞬間に脳波が増強される現象があることを利用するものである。ピクトグラムを擬似ランダムフラッシュしてP300を脳波計で計測し、該脳波を前記処理装置で解析し、該解析結果により、装置4を用いて、メッセージを表示したり、又は、アバター(自分の分身となるCG:コンピューターグラフィックス)がメッセージを人工音声で読み上げるようにする。   In the present embodiment, an efficient communication support menu is provided. Conventional communication devices that focus on brain activity have problems such as a small number of message types and a long time to create a message. In the present embodiment, a “hierarchical message generation system” developed by the present inventors that can create various messages with a small number of operations is used. In this system, the user chooses one message related to the message he wants to convey from among the 8 types of pictograms (simple pictographs of various events) presented on the screen. To do. A maximum of 512 types of messages can be created by combining these three pictograms (8 to the third power). In this system, a pictogram of options is flushed in a pseudo-random manner, and an additional function of inducing a P300 (called an event-related electroencephalogram, a positive potential change 300 ms after stimulus presentation) is used. The method of flashing the pictogram and measuring P300 utilizes the phenomenon that the electroencephalogram is enhanced at the moment when the focused symbol display shines. The pictogram is pseudo-randomly flashed, P300 is measured with an electroencephalograph, the electroencephalogram is analyzed with the processing device, and a message is displayed using the device 4 or an avatar (with his / her own alternation and the result). CG: computer graphics) reads out messages with artificial speech.

本発明者らが開発した「階層的メッセージ生成システム」について具体的に説明する。例えば、利用者に、会話(メッセージ)の構成要素が複数個シンボル表示された表示選択画面を提示する。第1階層のシンボル表示の例は、図1の刺激提示用の表示画面1にも表示されているように、「飲食する」「移動する」「各種活動」「気持ち」「体のケア」「時間」「遊ぶ」「テレビ」「人物」等のシンボル表示(ピクトグラム)である。中央の多方向の矢印は、選択を指示する表示であるが、特定のシンボル表示でもよい。まず、利用者は、伝えたいメッセージを第1階層の選択肢から選び意識すると、選択画面で選択したシンボル表示がフラッシュした際に、脳内で「これ」と思った時に観察される頭皮上の脳波(P300)が検出可能となる。1つのシンボル表示(ターゲット)が選択されると、その動作の対象となる第2階層が表示される次の表示画面に進む。例えば、第1階層で「移動する」が選択されたとき、「移動する」の対象となる第2階層の選択肢として、「洗面所」「風呂場」「他の部屋」「他の階」「病院」「公共施設」「方角」「屋外」等が表示される。利用者は、伝えたいメッセージの構成要素を第2階層の選択肢から選び意識すると、選択画面で伝えたいシンボル表示がフラッシュした際に、脳内で「これ」と思った時に観察される頭皮上の脳波(P300)が検出可能となる。第2階層の中の1つのシンボル表示が選択されると、動作の対象や目的などの会話の構成要素の詳細内容となる第3階層が次の表示画面に表示される。例えば、第2階層で「洗面所」が選択されると、さらにその動作の目的に関して第3階層が表示される。「トイレ」「手洗い」「洗顔」「歯磨き」「化粧」「ひげそり」「整髪」等が表示される。利用者が第3階層の選択肢の中から伝えたいものを選び、同様に、第3階層の中の1つのシンボル表示が選択されると、第1、第2、第3の階層で選択された構成要素から1つのまとまりのあるメッセージが処理装置3により作成される。メッセージが作成されると、装置4の表示画面上の文字やスピーカからの音声によってそのメッセージが出力される。表示画面上の、利用者毎に登録したアバター(CGキャラクター)が発声するよう音声出力するとよい。   The “hierarchical message generation system” developed by the present inventors will be specifically described. For example, a display selection screen in which a plurality of constituent elements of a conversation (message) are displayed as symbols is presented to the user. Examples of the first-level symbol display are “to eat and drink”, “move”, “various activities”, “feelings”, “body care”, “ Symbol display (pictogram) such as “time”, “play”, “television”, “person”, etc. The multidirectional arrow at the center is a display for instructing selection, but may be a specific symbol display. First of all, when the user chooses the message he wants to convey from the choices in the first layer, the brain wave on the scalp that is observed when he thinks “this” in the brain when the symbol display selected on the selection screen flashes. (P300) can be detected. When one symbol display (target) is selected, the process proceeds to the next display screen on which the second layer to be operated is displayed. For example, when “move” is selected in the first hierarchy, “washroom” “bathroom” “other room” “other floor” “ “Hospital”, “Public facility”, “Direction”, “Outdoor”, etc. are displayed. When the user chooses the component of the message that he wants to convey from the choices in the second layer, the symbol display that he wants to convey on the selection screen flashes, and when the user thinks “this” in the brain, the scalp is observed. An electroencephalogram (P300) can be detected. When one symbol display in the second hierarchy is selected, the third hierarchy, which is the detailed contents of the constituent elements of the conversation such as the object and purpose of the operation, is displayed on the next display screen. For example, when “toilet” is selected in the second level, the third level is further displayed regarding the purpose of the operation. “Toilet”, “hand wash”, “face wash”, “toothpaste”, “makeup”, “shave”, “hairdressing”, and the like are displayed. When the user selects what he wants to convey from the options in the third hierarchy, and similarly, when one symbol display in the third hierarchy is selected, the selection is made in the first, second and third hierarchy. A single message is created by the processing device 3 from the components. When the message is created, the message is output by characters on the display screen of the device 4 or voice from the speaker. It is preferable to output sound so that an avatar (CG character) registered for each user on the display screen utters.

なお、擬似ランダムとは、ランダム(乱数)のように見えるが、実際には一定の法則で計算された数列をいう。例えば、1から8の数字を3、6、2、7、1、5、8、4の順番で提示すると、一見、ランダムに数字が選ばれたように思わせることができるが、実際には8種類の数字が1回ずつ提示されている。これを1ブロックとしてブロックごとに擬似ランダムの順番で1回ずつ全種類を提示すると、5ブロック終わった段階では各数字が5回ずつ提示されたことになる。ノイズが混入しやすい微弱な脳波データを解析するためには各実験条件(本実施の形態では、数字ではなく、8種類のピクトグラムである)を数回繰り返す必要があり、擬似ランダムな刺激提示が効率良いデータの取得方法である。   Pseudo random means a random number (random number), but actually a sequence of numbers calculated according to a certain rule. For example, if numbers 1 to 8 are presented in the order of 3, 6, 2, 7, 1, 5, 8, 4, it may seem that numbers are chosen at random, Eight kinds of numbers are presented once. If this is set as one block and all types are presented once in a pseudo-random order for each block, each number is presented five times at the end of five blocks. In order to analyze weak electroencephalogram data that is likely to contain noise, it is necessary to repeat each experimental condition (in this embodiment, 8 pictograms, not numbers) several times, and pseudo-random stimulus presentation is performed. This is an efficient data acquisition method.

1フラッシュの毎の脳波計測定により、認知課題1試行ごとの意思決定にかかわる脳内処理過程を推定する関数を求め、8種類のピクトグラムの各関数のうちの1つが、複数回ブロック行った結果、所定の値以上に達したり、他のピクトグラムの関数と対比して大であったりした場合に、該ピクトグラムが選択されたと、判断することができる。   A function that estimates the process of brain processing related to decision-making for each trial by cognitive task is obtained by EEG measurement for each flash, and one of the 8 pictogram functions is blocked multiple times. It can be determined that the pictogram has been selected when it reaches a predetermined value or more, or when it is large compared with other pictogram functions.

本実施の形態では、予定した5ブロック全部の提示が終わった段階を待たずに、仮想意思決定関数で表されるところの、脳内意思決定がなされたという解析結果の出力を受けて、フラッシュ刺激提示の打ち切り処理を行った。例えば3ブロックや4ブロックで刺激提示を打ち切った。このように、予測確率が十分高まったところでフラッシュを打ち切って、利用者の伝えたいシンボル表示(選びたい選択肢、目標)を高速高精度で検出することができる。   In this embodiment, without waiting for the stage where all the five blocks have been presented, the analysis result that the brain decision has been made, which is represented by the virtual decision function, is received and flashed. The stimulus presentation was censored. For example, the stimulus presentation was discontinued in 3 blocks or 4 blocks. In this way, when the prediction probability is sufficiently increased, the flash is stopped, and the symbol display (option to be selected, target) to be transmitted by the user can be detected with high speed and high accuracy.

図1では、表示画面1と、脳波を解析する処理装置3と、メッセージを表示する画面又はアバターがメッセージを読み上げる装置4とが、別体の装置のように図示されているが、これは模式的に図示したものであり、コンピュータ、モバイルコンピュータ、携帯端末等の、処理部と表示部を備える装置であれば、適宜組み合わせたり又は一体の装置としたりすることができる。   In FIG. 1, a display screen 1, a processing device 3 that analyzes an electroencephalogram, and a screen 4 that displays a message or a device 4 that reads a message from an avatar are illustrated as separate devices. As long as the apparatus includes a processing unit and a display unit, such as a computer, a mobile computer, and a portable terminal, they can be appropriately combined or integrated.

上記実施の形態に示したようなシンボル表示(選択肢のピクトグラム)を、例えば場面に応じた会話の構成要素を階層的に表示する内容にすると、各階層の選択画面で複数表示して、各階層で選択された構成要素を組み合わせることにより、複雑な意思伝達に用いることができる。多様なメッセージをたった数回の選択動作によって生成することができる。たとえ数十文字からなるメッセージであっても、それを事前に、又は該メッセージの構成要素をシンボル表示として登録しておけば、短い時間で選択できるので、より日常的なコミュニケーションが実現できる。具体的には、8種類の選択肢から一つを選ぶ動作を3回行う簡単な入力操作で、512種のメッセージから1つを選ぶことができるので、発話が不十分でかつ細かな手の動作などの機能が不十分なユーザーでも利用することができる。また、512種のメッセージは、基本的な身の回りの介護や気持ち等の意思を伝えるのに十分な数といえる。   If the symbol display (pictogram of choices) as shown in the above embodiment is set to display contents of conversation components according to scenes in a hierarchical manner, for example, a plurality of display elements are displayed on the selection screen of each hierarchy. By combining the components selected in (1), it can be used for complicated communication. Various messages can be generated with just a few selection actions. Even a message consisting of several tens of characters can be selected in a short time if it is registered in advance, or if the constituent elements of the message are registered as symbol displays, so that more daily communication can be realized. Specifically, it is possible to select one of 512 messages with a simple input operation of selecting one of eight options three times. Even users with insufficient functions such as can be used. In addition, the 512 types of messages can be said to be sufficient to convey basic intentions such as care and feelings.

実施の形態では、視覚刺激について説明したが、視覚刺激に代えて聴覚刺激等を与えて対応する脳波を計測して解析するようにしてもよい。   In the embodiment, the visual stimulus has been described. However, instead of the visual stimulus, an auditory stimulus or the like may be applied to measure and analyze the corresponding electroencephalogram.

なお、上記実施の形態等で示した例は、発明を理解しやすくするために記載したものであり、この形態に限定されるものではない。   In addition, the example shown by the said embodiment etc. was described in order to make invention easy to understand, and is not limited to this form.

本発明によれば、重度運動障害の患者や老人が手足等を用いることなく、脳内の意思をリアルタイムで、他者に伝達できる。また、福祉分野に限らず、新しいタイプのゲームやロボット制御技術、家庭での健康管理、マーケティング分野での感性評価などに、脳内意思を伝達する技術として応用可能である   According to the present invention, a patient or an elderly person with severe movement disorder can transmit intentions in the brain to others in real time without using limbs or the like. In addition, it is applicable not only to the welfare field, but also to new types of games and robot control technology, home health management, and sensitivity evaluation in the marketing field.

1 刺激提示画面
2 脳波計の一部
3 処理装置
4 CG表示画面
1 Stimulus presentation screen 2 Part of EEG 3 Processing device 4 CG display screen

Claims (5)

刺激を提示する刺激提示装置と、該刺激提示装置による刺激提示後の脳波を計測する脳波計と、該脳波計からの脳波データを処理する処理装置と、意思表示装置とを備える意思伝達支援装置であって、
前記刺激提示装置は、メッセージの構成要素を階層的にデータベース化して蓄積された該構成要素を、刺激として、各階層の選択場面で複数提示し、
前記脳波計は、ヘッドキャップに取り付けられた電極により頭皮上脳波を計測して、無線通信により前記処理装置に脳波データを送信し、
前記処理装置は、前記脳波データを解析して、認知課題である該構成要素の1試行毎の意思決定に係わる脳内処理過程を推定する関数により、特定の意思決定が脳内でなされたと判断し、該判断の結果の構成要素を組み合わせてメッセージを作成して、前記意思表示装置に出力する処理装置であって、前記脳内処理過程を推定する関数は、線形判別分析関数を用いて、前記脳波データの各チャンネルと刺激提示後の経過時間に応じて重み付け係数を求めて、意思決定を定量化する関数であり
前記意思表示装置は、前記メッセージを表示又は音声出力することを特徴とする意思伝達支援装置。
Stimulus presentation device that presents a stimulus, an electroencephalograph that measures an electroencephalogram after the stimulus presentation by the stimulus presenting device, a processing device that processes electroencephalogram data from the electroencephalograph, and an intention display support device Because
The stimulus presenting apparatus presents a plurality of the constituent elements stored in a hierarchical database of the constituent elements of the message as stimuli in selected scenes of each hierarchy,
The electroencephalograph measures an electroencephalogram on the scalp with an electrode attached to a head cap, and transmits electroencephalogram data to the processing device by wireless communication.
The processing device analyzes the electroencephalogram data and determines that a specific decision has been made in the brain by a function that estimates a process in the brain related to a decision for each trial of the component that is a cognitive task. Then, a message is created by combining the components of the result of the determination and output to the intention display device, and the function for estimating the intracerebral processing process uses a linear discriminant analysis function, A function for quantifying decision making by obtaining a weighting coefficient according to each channel of the electroencephalogram data and the elapsed time after the stimulus presentation ,
The intention display device displays the message or outputs the message as a voice communication support device.
前記刺激提示装置は、前記構成要素を擬似ランダムにフラッシュして提示する表示画面を備え、前記処理装置からの、脳内意思決定がなされたという判断結果の出力を受けて、フラッシュ刺激提示を打ち切ることを特徴とする請求項1記載の意思伝達支援装置。   The stimulus presentation apparatus includes a display screen that flashes and presents the constituent elements in a pseudo-random manner, and receives the output of the determination result that the brain decision has been made from the processing apparatus, and terminates the flash stimulus presentation. The intention transmission support apparatus according to claim 1. 前記意思表示装置は、利用者が登録したアバターが前記メッセージを音声出力することを特徴とする請求項1又は2項記載の意思伝達支援装置。 3. The intention transmission support apparatus according to claim 1, wherein the intention display apparatus is configured such that an avatar registered by a user outputs the message as a voice. メッセージの構成要素を階層的にデータベース化して蓄積し、
刺激提示装置により、該構成要素を刺激として、各階層の選択場面で複数提示し、
該刺激提示後の脳波を計測して、無線通信により脳波データを処理装置に送信し、
該処理装置により、前記脳波データを解析して、認知課題である該構成要素の1試行毎の意思決定に係わる脳内処理過程を推定する関数により、特定の意思決定が脳内でなされたと判断し、該判断の結果の該構成要素を組み合わせてメッセージを作成し、
前記メッセージを表示又は音声出力する方法であり
前記脳内処理過程を推定する関数は、線形判別分析関数を用いて、前記脳波データの各チャンネルと刺激提示後の経過時間に応じて重み付け係数を求めて、意思決定を定量化する関数であることを特徴とする意思伝達支援方法。
The message components are stored in a hierarchical database,
The stimulus presentation device presents a plurality of the constituent elements as stimuli in the selected scenes of each layer,
Measure the electroencephalogram after presenting the stimulus, and transmit the electroencephalogram data to the processing device by wireless communication,
The processing device analyzes the electroencephalogram data, and determines that a specific decision is made in the brain by a function that estimates a process in the brain related to a decision for each trial of the component that is a cognitive task. Then, a message is created by combining the components of the judgment result,
A method for displaying or outputting the message;
The function for estimating the intracerebral processing process is a function for quantifying decision making by obtaining a weighting coefficient according to each channel of the electroencephalogram data and the elapsed time after presentation of the stimulus using a linear discriminant analysis function. A communication support method characterized by that.
前記刺激提示装置は、前記構成要素を擬似ランダムにフラッシュして提示し、前記処理装置からの、脳内意思決定がなされたという判断結果の出力を受けて、フラッシュ刺激提示を打ち切ることを特徴とする請求項記載の意思伝達支援方法。 The stimulus presenting device pseudo-randomly flashes and presents the constituent elements, receives the output of the determination result that the brain decision has been made from the processing device, and terminates the flash stimulus presentation. The communication support method according to claim 4 .
JP2010216749A 2010-09-28 2010-09-28 Communication support device and method Active JP5472746B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010216749A JP5472746B2 (en) 2010-09-28 2010-09-28 Communication support device and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010216749A JP5472746B2 (en) 2010-09-28 2010-09-28 Communication support device and method

Publications (2)

Publication Number Publication Date
JP2012073329A JP2012073329A (en) 2012-04-12
JP5472746B2 true JP5472746B2 (en) 2014-04-16

Family

ID=46169583

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010216749A Active JP5472746B2 (en) 2010-09-28 2010-09-28 Communication support device and method

Country Status (1)

Country Link
JP (1) JP5472746B2 (en)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014041851A1 (en) * 2012-09-13 2014-03-20 Necカシオモバイルコミュニケーションズ株式会社 Information processor
US9773332B2 (en) 2013-03-14 2017-09-26 Otoy, Inc. Visual cortex thought detector interface
WO2014152630A1 (en) * 2013-03-14 2014-09-25 Julian Michael Urbach Eye piece for augmented and virtual reality
US9235968B2 (en) 2013-03-14 2016-01-12 Otoy, Inc. Tactile elements for a wearable eye piece
WO2015111331A1 (en) 2014-01-23 2015-07-30 独立行政法人産業技術総合研究所 Cognitive function evaluation apparatus, method, system, and program
CN104065388A (en) * 2014-07-09 2014-09-24 李永飞 Human brain broadcasting station
US10786173B2 (en) 2014-11-17 2020-09-29 National Institute Of Advanced Industrial Science And Technology Similarity evaluation method using brain waves, evaluation device, evaluation system, and program
US10470690B2 (en) 2014-11-21 2019-11-12 National Institute Of Advanced Industrial Science And Technology Authentication device using brainwaves, authentication method, authentication system, and program
US20200037911A1 (en) * 2016-04-14 2020-02-06 National Institute Of Advanced Industrial Science And Technology Intention decoding apparatus and intention conveyance assist apparatus
TR202002077A2 (en) * 2020-02-12 2021-08-23 Izmir Cigli Cigli Fen Lisesi DISABLED COMMUNICATION SYSTEM
WO2024127958A1 (en) * 2022-12-16 2024-06-20 ソニーセミコンダクタソリューションズ株式会社 Signal processing device, signal processing method, and signal processing system

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2899194B2 (en) * 1993-06-30 1999-06-02 キヤノン株式会社 Communication support device and communication support method
JP2004180817A (en) * 2002-12-02 2004-07-02 National Institute Of Advanced Industrial & Technology Work supporting manipulator system using biological signal
JP2009199535A (en) * 2008-02-25 2009-09-03 Panasonic Corp Adjustment device and method for brain wave identification method
JP4465414B2 (en) * 2008-07-11 2010-05-19 パナソニック株式会社 Device control method and electroencephalogram interface system using electroencephalogram
JP5544620B2 (en) * 2010-09-01 2014-07-09 独立行政法人産業技術総合研究所 Communication support device and method

Also Published As

Publication number Publication date
JP2012073329A (en) 2012-04-12

Similar Documents

Publication Publication Date Title
JP5472746B2 (en) Communication support device and method
JP5544620B2 (en) Communication support device and method
US11992340B2 (en) Efficient wellness measurement in ear-wearable devices
Martišius et al. A prototype SSVEP based real time BCI gaming system
Gürkök et al. Brain–computer interfaces for multimodal interaction: a survey and principles
Oberman et al. Face to face: Blocking facial mimicry can selectively impair recognition of emotional expressions
US20210118323A1 (en) Method and apparatus for interactive monitoring of emotion during teletherapy
KR102388596B1 (en) device and method that collect signals related to the brain in an active state and provide digital therapeutics information
US20200205712A1 (en) Assessment of risk for major depressive disorder from human electroencephalography using machine learned model
US20140114207A1 (en) Cognitive Management Method and System
CN111656304A (en) Communication method and system
Nijholt et al. Brain-computer interaction: can multimodality help?
Zhao et al. Human-computer interaction for augmentative communication using a visual feedback system
WO2017179486A1 (en) Intention interpreting device and intention transmission supporting device
Wong Emotion assessment in evaluation of affective interfaces
Nguyen et al. LIBS: a bioelectrical sensing system from human ears for staging whole-night sleep study
Vourvopoulos et al. Brain–computer interfacing with interactive systems—case study 2
Nissinen et al. The Possibilities of Smart Clothing in Adult Speech Therapy: Speech Therapists' Visions for the Future
Keary et al. How affective computing could complement and advance the quantified self
Sansana BCI-based spatial navigation control: a comparison study
Bansal et al. EEG Based BCI—Control Applications
Rekrut Leveraging EEG-based speech imagery brain-computer interfaces
Nguyen et al. The magazine archive includes every article published in Communications of the ACM for over the past 50 years.
Kelly Unleashing Potential: Harnessing Brain-Computer Interfaces to Empower Children with Severe Physical Disabilities
Premalatha ARTIFICIAL INTELLIGENCE BASED EMOTION DETECTION FOR KIDS WITH AUTISM USING MATLAB

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130305

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131025

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140121

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140122

R150 Certificate of patent or registration of utility model

Ref document number: 5472746

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250