JP5472746B2 - 意思伝達支援装置及び方法 - Google Patents
意思伝達支援装置及び方法 Download PDFInfo
- Publication number
- JP5472746B2 JP5472746B2 JP2010216749A JP2010216749A JP5472746B2 JP 5472746 B2 JP5472746 B2 JP 5472746B2 JP 2010216749 A JP2010216749 A JP 2010216749A JP 2010216749 A JP2010216749 A JP 2010216749A JP 5472746 B2 JP5472746 B2 JP 5472746B2
- Authority
- JP
- Japan
- Prior art keywords
- message
- stimulus
- brain
- decision
- electroencephalogram
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 40
- 238000004891 communication Methods 0.000 title claims description 24
- 210000004556 brain Anatomy 0.000 claims description 39
- 238000012545 processing Methods 0.000 claims description 30
- 230000008569 process Effects 0.000 claims description 15
- 239000000470 constituent Substances 0.000 claims description 14
- 238000004458 analytical method Methods 0.000 claims description 10
- 210000004761 scalp Anatomy 0.000 claims description 8
- 210000003128 head Anatomy 0.000 claims description 6
- 230000036992 cognitive tasks Effects 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims 2
- 230000006870 function Effects 0.000 description 23
- 230000007177 brain activity Effects 0.000 description 12
- 101150068427 EP300 gene Proteins 0.000 description 9
- 102100038885 Histone acetyltransferase p300 Human genes 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 210000002569 neuron Anatomy 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000005259 measurement Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 239000012634 fragment Substances 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- 238000000491 multivariate analysis Methods 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 208000016285 Movement disease Diseases 0.000 description 2
- 230000006735 deficit Effects 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 241000282693 Cercopithecidae Species 0.000 description 1
- 208000016621 Hearing disease Diseases 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000036982 action potential Effects 0.000 description 1
- 206010002026 amyotrophic lateral sclerosis Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000000763 evoking effect Effects 0.000 description 1
- 238000002599 functional magnetic resonance imaging Methods 0.000 description 1
- 230000003760 hair shine Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 229940034610 toothpaste Drugs 0.000 description 1
- 239000000606 toothpaste Substances 0.000 description 1
Landscapes
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- User Interface Of Digital Computer (AREA)
Description
本実施の形態について、図1を参照して以下説明する。図1は、本実施の形態による意思伝達支援装置及び方法を模式的に示す図である。本実施例の意思伝達支援装置は、刺激提示用の表示画面1と、被験者の頭部に電極を装着したモバイル脳波計2(例えばワイヤレスで電極からの脳波を計測する小型脳波計(図は一部省略したもの))、脳波を解析する処理装置3、メッセージを表示する画面又はアバター(自分の分身となるCG:コンピューターグラフィックス)がメッセージを人工音声で読み上げる装置4からなる。刺激提示用の表示画面1を被験者に見せて、被験者の頭皮上脳波をワイヤレスで携帯可能な小型脳波計で計測する。表示画面(モニター)1には、視覚刺激として、様々なメッセージ候補の断片(構成要素)を含む複数のピクトグラムをフラッシュ提示する。伝えたいメッセージ断片(ターゲット)がフラッシュした際、脳内で「おやっ」と思った時に観察される頭皮上の脳波(P300)を検出する作業を複数回繰り返す。処理装置3により、伝えたいメッセージ候補の断片(ターゲットの構成要素)を、脳内意思解読アルゴリズムにより判別してメッセージを文章化する。該メッセージを、装置4により、アバター(分身となるCGキャラクター)によって読み上げて表出させる。図1の吹き出しは、アバターの読み上げるメッセージを模式的に表している。
2 脳波計の一部
3 処理装置
4 CG表示画面
Claims (5)
- 刺激を提示する刺激提示装置と、該刺激提示装置による刺激提示後の脳波を計測する脳波計と、該脳波計からの脳波データを処理する処理装置と、意思表示装置とを備える意思伝達支援装置であって、
前記刺激提示装置は、メッセージの構成要素を階層的にデータベース化して蓄積された該構成要素を、刺激として、各階層の選択場面で複数提示し、
前記脳波計は、ヘッドキャップに取り付けられた電極により頭皮上脳波を計測して、無線通信により前記処理装置に脳波データを送信し、
前記処理装置は、前記脳波データを解析して、認知課題である該構成要素の1試行毎の意思決定に係わる脳内処理過程を推定する関数により、特定の意思決定が脳内でなされたと判断し、該判断の結果の構成要素を組み合わせてメッセージを作成して、前記意思表示装置に出力する処理装置であって、前記脳内処理過程を推定する関数は、線形判別分析関数を用いて、前記脳波データの各チャンネルと刺激提示後の経過時間に応じて重み付け係数を求めて、意思決定を定量化する関数であり、
前記意思表示装置は、前記メッセージを表示又は音声出力することを特徴とする意思伝達支援装置。 - 前記刺激提示装置は、前記構成要素を擬似ランダムにフラッシュして提示する表示画面を備え、前記処理装置からの、脳内意思決定がなされたという判断結果の出力を受けて、フラッシュ刺激提示を打ち切ることを特徴とする請求項1記載の意思伝達支援装置。
- 前記意思表示装置は、利用者が登録したアバターが前記メッセージを音声出力することを特徴とする請求項1又は2項記載の意思伝達支援装置。
- メッセージの構成要素を階層的にデータベース化して蓄積し、
刺激提示装置により、該構成要素を刺激として、各階層の選択場面で複数提示し、
該刺激提示後の脳波を計測して、無線通信により脳波データを処理装置に送信し、
該処理装置により、前記脳波データを解析して、認知課題である該構成要素の1試行毎の意思決定に係わる脳内処理過程を推定する関数により、特定の意思決定が脳内でなされたと判断し、該判断の結果の該構成要素を組み合わせてメッセージを作成し、
前記メッセージを表示又は音声出力する方法であり、
前記脳内処理過程を推定する関数は、線形判別分析関数を用いて、前記脳波データの各チャンネルと刺激提示後の経過時間に応じて重み付け係数を求めて、意思決定を定量化する関数であることを特徴とする意思伝達支援方法。 - 前記刺激提示装置は、前記構成要素を擬似ランダムにフラッシュして提示し、前記処理装置からの、脳内意思決定がなされたという判断結果の出力を受けて、フラッシュ刺激提示を打ち切ることを特徴とする請求項4記載の意思伝達支援方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010216749A JP5472746B2 (ja) | 2010-09-28 | 2010-09-28 | 意思伝達支援装置及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010216749A JP5472746B2 (ja) | 2010-09-28 | 2010-09-28 | 意思伝達支援装置及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012073329A JP2012073329A (ja) | 2012-04-12 |
JP5472746B2 true JP5472746B2 (ja) | 2014-04-16 |
Family
ID=46169583
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010216749A Active JP5472746B2 (ja) | 2010-09-28 | 2010-09-28 | 意思伝達支援装置及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5472746B2 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014041851A1 (ja) * | 2012-09-13 | 2014-03-20 | Necカシオモバイルコミュニケーションズ株式会社 | 情報処理装置 |
US9235968B2 (en) | 2013-03-14 | 2016-01-12 | Otoy, Inc. | Tactile elements for a wearable eye piece |
US9773332B2 (en) | 2013-03-14 | 2017-09-26 | Otoy, Inc. | Visual cortex thought detector interface |
TWI581173B (zh) * | 2013-03-14 | 2017-05-01 | 茱麗安 麥克 爾巴哈 | 用以擴增實境及虛擬實境之目鏡系統及使用該系統之方法 |
JP6404239B2 (ja) | 2014-01-23 | 2018-10-10 | 国立研究開発法人産業技術総合研究所 | 認知機能評価装置、認知機能評価装置の作動方法、システム及びプログラム |
CN104065388A (zh) * | 2014-07-09 | 2014-09-24 | 李永飞 | 人脑电台 |
WO2016080341A1 (ja) | 2014-11-17 | 2016-05-26 | 国立研究開発法人産業技術総合研究所 | 脳波による類似度の評価方法、評価装置、評価システム及びプログラム |
WO2016080366A1 (ja) | 2014-11-21 | 2016-05-26 | 国立研究開発法人産業技術総合研究所 | 脳波による認証装置、認証方法、認証システム及びプログラム |
JP6628341B2 (ja) * | 2016-04-14 | 2020-01-08 | 国立研究開発法人産業技術総合研究所 | 意思解読装置及び意思伝達支援装置 |
TR202002077A2 (tr) * | 2020-02-12 | 2021-08-23 | Izmir Cigli Cigli Fen Lisesi | Engelli̇ i̇leti̇şi̇m si̇stemi̇ |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2899194B2 (ja) * | 1993-06-30 | 1999-06-02 | キヤノン株式会社 | 意思伝達支援装置及び意思伝達支援方法 |
JP2004180817A (ja) * | 2002-12-02 | 2004-07-02 | National Institute Of Advanced Industrial & Technology | 生体信号を利用した作業支援マニピュレータシステム |
JP2009199535A (ja) * | 2008-02-25 | 2009-09-03 | Panasonic Corp | 脳波識別方法の調整装置および方法 |
WO2010004698A1 (ja) * | 2008-07-11 | 2010-01-14 | パナソニック株式会社 | 脳波を用いた機器の制御方法および脳波インタフェースシステム |
JP5544620B2 (ja) * | 2010-09-01 | 2014-07-09 | 独立行政法人産業技術総合研究所 | 意思伝達支援装置及び方法 |
-
2010
- 2010-09-28 JP JP2010216749A patent/JP5472746B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2012073329A (ja) | 2012-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5472746B2 (ja) | 意思伝達支援装置及び方法 | |
JP5544620B2 (ja) | 意思伝達支援装置及び方法 | |
US11992340B2 (en) | Efficient wellness measurement in ear-wearable devices | |
Martišius et al. | A prototype SSVEP based real time BCI gaming system | |
Gürkök et al. | Brain–computer interfaces for multimodal interaction: a survey and principles | |
Oberman et al. | Face to face: Blocking facial mimicry can selectively impair recognition of emotional expressions | |
US20190358425A1 (en) | Brain stimulation system, method and apparatus based on artificial intelligence and storage medium | |
US20210118323A1 (en) | Method and apparatus for interactive monitoring of emotion during teletherapy | |
KR102388596B1 (ko) | 동하는 상태에서 뇌와 관련된 신호를 수집하고, 디지털 컨텐츠 기반 치료 정보를 제공하는 장치 및 방법 | |
US20200205712A1 (en) | Assessment of risk for major depressive disorder from human electroencephalography using machine learned model | |
CN111656304A (zh) | 通信方法及*** | |
US20140114207A1 (en) | Cognitive Management Method and System | |
Sciaraffa et al. | Evaluation of a new lightweight EEG technology for translational applications of passive brain-computer interfaces | |
Nijholt et al. | Brain-computer interaction: can multimodality help? | |
Zhao et al. | Human-computer interaction for augmentative communication using a visual feedback system | |
WO2017179486A1 (ja) | 意思解読装置及び意思伝達支援装置 | |
Wong | Emotion assessment in evaluation of affective interfaces | |
Edmonds et al. | On physiological computing with an application in interactive art | |
Nguyen et al. | LIBS: a bioelectrical sensing system from human ears for staging whole-night sleep study | |
Vourvopoulos et al. | Brain–computer interfacing with interactive systems—case study 2 | |
Nissinen et al. | The Possibilities of Smart Clothing in Adult Speech Therapy: Speech Therapists' Visions for the Future | |
Keary et al. | How affective computing could complement and advance the quantified self | |
Sansana | BCI-based spatial navigation control: a comparison study | |
Bansal et al. | EEG Based BCI—Control Applications | |
Ravaja et al. | A short review and primer on electromyography in human computer interaction applications |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130305 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131025 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131105 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131226 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140121 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140122 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5472746 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |