CN101652740A - 被编入脑波接口***的修正装置、方法及计算机程序 - Google Patents

被编入脑波接口***的修正装置、方法及计算机程序 Download PDF

Info

Publication number
CN101652740A
CN101652740A CN200880011317A CN200880011317A CN101652740A CN 101652740 A CN101652740 A CN 101652740A CN 200880011317 A CN200880011317 A CN 200880011317A CN 200880011317 A CN200880011317 A CN 200880011317A CN 101652740 A CN101652740 A CN 101652740A
Authority
CN
China
Prior art keywords
options
brain wave
inferred
event related
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200880011317A
Other languages
English (en)
Other versions
CN101652740B (zh
Inventor
森川幸治
足立信夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN101652740A publication Critical patent/CN101652740A/zh
Application granted granted Critical
Publication of CN101652740B publication Critical patent/CN101652740B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61FFILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F4/00Methods or devices enabling patients or disabled persons to operate an apparatus or a device not forming part of the body 
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B19/00Driving, starting, stopping record carriers not specifically of filamentary or web form, or of supports therefor; Control thereof; Control of operating function ; Driving both disc and head
    • G11B19/02Control of operating function, e.g. switching from recording to reproducing
    • G11B19/022Control panels
    • G11B19/025'Virtual' control panels, e.g. Graphical User Interface [GUI]
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B19/00Driving, starting, stopping record carriers not specifically of filamentary or web form, or of supports therefor; Control thereof; Control of operating function ; Driving both disc and head
    • G11B19/02Control of operating function, e.g. switching from recording to reproducing
    • G11B19/027Remotely controlled
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B19/00Driving, starting, stopping record carriers not specifically of filamentary or web form, or of supports therefor; Control thereof; Control of operating function ; Driving both disc and head
    • G11B19/02Control of operating function, e.g. switching from recording to reproducing
    • G11B19/08Control of operating function, e.g. switching from recording to reproducing by using devices external to the driving mechanisms, e.g. coin-freed switch
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Neurosurgery (AREA)
  • Neurology (AREA)
  • Dermatology (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Vascular Medicine (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明提供一种修正装置,其被编入脑波IF***,利用脑波接口(IF)对用户希望的选择项进行判定,根据脑波检测出选择项的判定错误。在检测出判定错误时,根据用于选择项判定的脑波信息,对选择项进行修正。脑波IF***具有身体信号测量部、对用户的脑波信号包含的事件相关电位进行解析的解析部、根据解析结果推定用户希望的选择项的推定部、向用户提示由推定部推定的选择项的输出部。身体信号测量部以向用户提示选择项的时点为起点,测量用户的脑波信号。修正装置具备:判定部,其根据选择项推定后所取得的脑波信号包含的事件相关电位,判定所推定的选择项的正误;修正部,在所推定的选择项为错误判定时,根据选择项推定前的事件相关电位,修正所推定的选择项,根据修正后的选择项指示设备动作。

Description

被编入脑波接口***的修正装置、方法及计算机程序
技术领域
本发明涉及装载了使用脑波进行设备操作的接口的设备。更具体地说是涉及在装载了所述接口的设备中,在通过测量脑波来判别用户的意图时,设备自动地检测出用户意图判定错误的情况,并可以自主地修正推定结果的设备、方法及在这种设备中执行的计算机程序。
背景技术
生活中有各种各样的设备,在被这些设备包围而生活之中,用户通过对设备进行操作,得到希望的信息及服务。其接口操作性提高的重要性因设备自身的数量增加、不使用设备就不能得到的信息的增加等逐年提高。例如,在信息设备(电视、手机、PDA等)中,通过一边看画面一边选择操作的选择项,来实现设备操作。作为其操作输入方法,使用着按压按键、使光标移动来确定、一边看画面一边操作鼠标等的方法,但例如在家务、育儿及汽车驾驶中等,由于两手不能用于设备操作以外的作业时,有时也不能执行操作。
对此,有利用用户的身体信号的输入方法。在非专利文献1中公开有使用脑波的事件相关电位来识别用户想选择的选择项的技术。具体地说是随机地强调突出选择项,利用在以用户想选择的选择项被强调突出的时点为起点而约300毫秒后出现的事件相关电位(大多称为P300)的波形,实现选择项的推定。利用该技术,即使在用户两手都被占用的情况下、或在由于疾病而手脚不能移动的状况下,也可以选择想选择的选择项,也可以实现设备操作等的接口。另外,在专利文献1中同样地也说明了使用事件相关电位的脑波接口的例子。
专利文献1:日本特开2004-275619号公报
非专利文献1:Donchin等著,“The Mental Prosthesis:Assessing theSpeed of a P300-Based Brain-Computer Interface”,IEEE TRANSACTIONSON REHABILITAITON ENGINEERING VOL.8.No.2.June 2000
脑波信号是具有起伏的微弱的信号,所以难以完全地消除噪声混入,并非始终能正确地判别用户的意图。例如,在非专利文献1的图3中表示有在加算次数少之际无法达到100%的判别率的情况。根据报告,实际上许多判别方法通过使用多次加算平均的波形而实现80%~90%左右的判别率的情况较多。
在这种状况下,使用脑波接口时,不限于设备一定在全部的操作时正确地进行判别,意味着例如对于10次左右的操作包含1~2次失败的事例。因此,在使用脑波接口时,准备有在不能正确地传达意图的情况具备除本来的选择项以外的“返回”、“删除”等辅助的选择项。
但是,利用辅助的选择项时,会发生因为由脑波选择这些修正用的选择项而复原、又再一次重新选择想要选择的选择项这种烦恼。因此,用于提高识别精度的研究正在被推进。
发明内容
本发明的目的在于通过利用脑波接口(IF),对用户希望的选择项进行判定后,利用脑波检测出选择项的判定错误,在检测出判定错误时,根据选择项判定使用的脑波信息,修正选择项。
本发明采用的修正装置被编入脑波接口***。所述脑波接口***具有身体信号测量部,其测量并储存用户的脑波信号;解析部,其分析所述脑波信号包含的事件相关电位;推定部,其根据所述脑波解析部得到的分析结果,推定用户希望的选择项;输出部,其向用户提示由所述推定部推定的选择项。所述身体信号测量部测量以向所述用户提示所述选择项的时点为起点的所述用户的脑波信号。所述修正装置具备:判定部,其根据包含于所述选择项推定后所取得的所述脑波信号的事件相关电位,判定所推定的所述选择项的正误;修正部,在判定出所推定的所述选择项错误时,根据在所述选择项的推定前储存的所述事件相关电位,修正所推定的所述选择项,根据修正后的选择项指示设备动作。
所述判定部也可以根据在所述选择项推定后所取得的所述脑波信号当中事件相关电位的600毫秒附近的阳性波形,对所推定的所述选择项的正误进行判定。
所述判定部保持用于判定所述选择项的正误的阈值;所述判定部也可以根据在所述选择项推定后所取得的所述脑波信号当中事件相关电位的600毫秒附近的阳性振幅的大小是否在所述阈值以上,对所推定的所述选择项的正误进行判定。
所述判定部保持用于判定所述选择项的正误的阈值;并且,所述判定部对于在所述选择项推定前取得的所述脑波信号、即对应所推定的所述选择项的提示而测量的事件相关电位及对应其他的选择项的提示而测量的事件相关电位,根据300毫秒附近的特征的差异,改变所述阈值也可以。
所述判定部对于对应所推定的所述选择项的提示而测量的事件相关电位及对应其他的选择项的提示而测量的事件相关电位,根据300毫秒附近的顶点振幅的大小的差异,改变所述规定的阈值也可以。
所述判定部为了判断所述顶点振幅的大小的差异,保持基准阈值;所述判定部在所述顶点振幅的大小比所述基准阈值大时,把用于判定所述选择项的正误的阈值改变化得更大也可以。
所述修正部使用在所述选择项推定前取得的、对应各选择项的提示而测量的事件相关电位,对所述选择项进行修正也可以。
在所述选择项推定前,所述输出部顺次提示多项选择项;所述身体信号测量部储存以各选择项的提示为起点而分别测量的所述用户的脑波信号;所述解析部将对应各选择项的所述脑波信号中的事件相关电位中、对应振幅最大的事件相关电位的选择项推定为是所述用户希望的选择项;所述修正部采用对应各选择项的所述脑波信号中的事件相关电位的、对应振幅大小为第二的事件相关电位的选择项,作为所推定的所述选择项的修正候补也可以。
由所述判定部判定为所推定的所述选择项正确时,所述修正部不进行所推定的所述选择项修正也可以。
本发明的修正方法,是在脑波接口***中执行的方法。所述脑波接口***具有:身体信号测量部,其测量并储存用户的脑波信号;解析部,其分析所述脑波信号包含的事件相关电位;推定部,其根据所述脑波解析部得到的分析结果,推定用户希望的选择项;输出部,其向用户提示由所述推定部推定出的选择项。所述身体信号测量部以向所述用户提示所述选择项的时点为起点,测量所述用户的脑波信号。所述修正方法包含:根据所述选择项推定后所取得的所述脑波信号包含的事件相关电位,判定所推定的所述选择项的正误的步骤;判定为所推定的所述选择项错误时,根据在所述选择项推定前储存的所述事件相关电位,修正所推定的所述选择项的步骤;根据修正后的选择项指示设备动作的步骤。
本发明采用的计算机程序由被编入脑波接口***的修正装置执行。所述脑波接口***具有:身体信号测量部,其测量并储存用户的脑波信号;解析部,其分析所述脑波信号包含的事件相关电位;推定部,其根据所述脑波解析部得到的分析结果,推定用户希望的选择项;输出部,其向用户提示由所述推定部推定出的选择项。所述身体信号测量部测量以向用户提示所述选择项的时点为起点的所述用户的脑波信号。所述计算机程序使所述修正装置的计算机执行以下步骤:根据所述选择项推定后所取得的所述脑波信号包含的事件相关电位,判定所推定的所述选择项的正误的步骤;判定为所推定的所述选择项错误时,根据在所述选择项推定前储存的所述事件相关电位,修正所推定的所述选择项的步骤;根据修正后的选择项指示设备动作的步骤。
发明效果
根据被编入脑波接口***的本发明的修正装置,即使在设备对用户所希望的选择项作出错误判定时,可自动地修正错误,因此可以减少再操作的必要性,且有效地使用脑波接口。
附图说明
图1是表示用户10所利用的实施方式1的脑波接口(IF)***1的结构的图;
图2是表示本申请发明人等设想的脑波IF***1的结构及利用环境的图;
图3是主要表示修正装置3的处理过程的图;
图4是脑波IF装置的处理流程1;
图5(a)和(b)是表示脑波接口的动作例的图;
图6是脑波IF装置的处理流程2;
图7是表示有关本申请发明人等使用的实验方法及数据处理方法的处理过程的流程图;
图8(a)~(c)是表示有关错误推定检测的实验画面例的图;
图9是表示对通过图7所示的实验步骤收集的事件相关电位的波形进行加算平均后的两种波形的图;
图10(a)及(b)是表示有关修正的分析结果的图;
图11是时序性地表示实施方式1的脑波IF装置2及修正装置3的处理的图;
图12是表示实施方式1的错误推定检测处理及推定结果修正处理的过程的流程图;
图13是表示实施方式2的后期阳性电位的判定阈值的调节方法的过程的流程图。
符号说明
1     脑波接口***
2     脑波接口装置
3     修正装置
10    用户
11    身体信号测量部
12    脑波解析部
13    选择项推定部
14    输出部
15    推定结果正误判定部
16    推定结果修正部
21    菜单项目画面
22    信息栏
23    强调突出选择项
24    事件相关电位
31    选择项目指示画面
32    强调突出选择项
33    推定结果显示画面
41    事件相关电位(正确判别)
42    事件相关电位(错误判别)
具体实施方式
下面,参照附图对本发明的脑波接口***的实施方式进行说明。
在实施方式的说明之前,对本申请发明人等得到见解进行说明。
一般认为在利用脑波推定选择项的***中,即使改善识别方法提高推定精度,也不能完全地排除在用户期望的选择项中包含有判定错误的可能性。本申请发明人等着眼于在提示有错误判定的选择项时的用户的反应。具体地说,本申请发明人等实施用于根据用户的事件相关电位特定设备侧不能正确地推定用户的选择项时的独自的脑波实验,特定该事件相关电位的特征,另外,通过脑波解析发现错误推定时的正解选择项和错误推定选择项的波形的特征。以这些见解为基础,能够实现在设备侧自动地检测出错误推定且能够自动地修正推定结果的脑波接口。下面,作为实施方式1及2对脑波接口***详细地进行说明。
另外,在本申请说明书中将为了取得事件相关电位而从某时点算起经过规定时间后的时刻表示为,例如“约300毫秒”及“600毫秒附近”。这意味着可以包含以“300毫秒”和“600毫秒”这样的特定的时刻为中心的范围。一般所公知的是,在事件相关电位的波形中,按每个人表现出30~50毫秒的差异(偏差)(加我君孝ほか編集、「事象関連電位(ERP)マニュアル一P300を中心に」、篠原出版新社、1995、30p表1(加我君孝等编集以“事件相关电位(ERP)手册P300为中心-”篠原出版新社199530p表1))。因此,“约x毫秒”和“x毫秒附近”这类术语意味着以x毫秒为中心,其前后可以存在“30~50毫秒”的幅度。
(实施方式1)
1、脑波接口***及修正装置的结构
图1表示用户10所利用的实施方式1的脑波接口(IF)***1的结构。脑波IF***1包括脑波接口(IF)装置2及修正装置3。
脑波IF装置2利用脑波判定用户意图,且相对于设备为了执行对应用户意图的动作而被利用。修正装置3对由脑波IF装置2判定用户10的意图后的结果的正误进行判定,对判定结果进行修正,因此被编入脑波IF***1。
脑波IF***1的动作的概要如下。脑波IF装置2使用用户10的脑波,从显示装置的画面所显示的多个选择项中判定认为是用户10希望的选择项。修正装置3根据提示该选择项后的用户的脑波,判定该选择项是否正确。
检测出在用户的脑波中存在表示错误的选择项的波形时,修正装置3根据使用于选择项判定的脑波信息对选择项进行修正。将修正结果传送到脑波IF装置2,脑波IF装置2执行修正后的选择项所对应的动作。
另一方面,根据提示选择项后的用户的脑波,检测出其选择项正确时,修正装置3不进行选择项的修正。其结果是脑波IF装置2执行对应其选择项的动作。
下面,分别针对构成脑波IF***1的脑波IF装置2及修正装置3说明其结构要素。0032
脑波IF装置2具有身体(也指生物体)信号测量部11、脑波解析部12、选择项推定部13、输出部14、控制部17。
身体信号测量部11是测量安装在用户10的头部的电极的电位变化的设备,例如是脑波仪。脑波解析部12对利用身体信号测量部11测量出的脑波数据进行解析。选择项推定部13以利用脑波解析部12所解析的结果为基础,用脑波接口推定用户想选择怎样的选择项。输出部14向用户10提示选择项的提示及选择结果的提示、其它有关设备动作的信息。输出部14在例如设备是电视机时则相当于电视画面。这时从输出部14也输出电视节目等。
其次,修正装置3具有推定结果正误判定部15、推定结果修正部16、
推定结果正误判定部15(下面记述为“判定部15”)利用脑波取得用户10对输出部14所提示的选择项推定结果的反应。判定部15根据取得的脑波,判定该推定选择项的正误。
推定结果修正部16(下面记述为“修正部16”)在假定判定部15判定为设备的选择项推定结果错误时,再一次推定认为是正确的结果(选择项)并修正先前的推定结果,返回至输出部14。在正确时则不进行推定结果的修正。
控制部17控制脑波IF装置2的整体动作。控制部17是例如半导体集成电路。
这样,身体信号测量部11在为了脑波接口的选择项推定和修正必要性的判定这两方面时使用。
2、脑波IF***的具体结构
本申请发明人等设想未来在安装型的脑波仪和安装型的可视数据终端组合在一起的环境下构建脑波IF***。用户始终安装脑波仪和可视数据终端,利用安装型可视数据终端可以进行内容的视听及画面的操作。另外,其他的情况设想在家庭用电视机和安装型的脑波仪组合在一起的家庭内等的环境下也可以构建脑波IF***。用户看电视时,安装脑波仪可以进行内容的视听及画面的操作。
例如,图2表示后例的、本申请发明人设想的脑波IF***1的结构及利用环境。该脑波IF***1对应后述的实施方式1的***结构进行例示。
脑波IF***1是用于提供一种通过利用用户10的脑波信号而操作TV14a的接口的***。用户10的脑波信号由安装在用户头部的身体信号测量部11取得、且以无线或有线传送给脑波IF装置2。内置于TV14a的脑波IF装置2利用构成脑波的一部分的事件相关电位的P3成分,认识用户的意图,进行频道切换等的动作。修正装置3观察脑波IF装置2的动作,并根据需要,通过推定选择项的修正,进行动作的修正。
3、脑波IF***1的处理概要
下面,参照图3说明包含修正装置3的修正处理的脑波IF***1的处理。图3主要表示修正装置3的处理过程。修正装置3在脑波IF装置2的处理后,判定由脑波IF装置2判定的选择项推定结果是否正确,在错误时执行进行修正的处理。
在步骤S10中,图1的脑波IF装置2实施脑波接口。在输出部14提示根据各场面可选择的选择项,对以强调突出所提示的各选择项的时点为起点的事件相关电位进行解析,进行推定用户10希望的选择项的处理。脑波IF装置2的详细的动作采用另外的图4的流程进行后述。在步骤10中,脑波IF装置2推定用户10想选择的选择项,该结果过渡到下一个步骤S20。
在步骤S20中,输出部14提示步骤S10中所推定的选择项。由此可以确认用户10希望的选择项是否到达***。修正装置3通过执行下面的处理,可以确认推定选择项是否正确。
在步骤S30中,身体信号测量部11测量以在步骤S20中显示推定结果的时点为起点的事件相关电位。在该事件相关电位中包含有用户10对***提示的选择项推定结果是怎样的感觉的信息。事件相关电位的波形的具体的说明在后面叙述。
在步骤S40中,修正装置3的判定部15根据在步骤S30中测量的事件相关电位,判定是否做出如用户10所想的推定。推定的正误判定利用根据由发明人等进行的实验所特定的脑波的特征而进行。判定为存在错误推定时,前进至步骤S50,判定为不存在错误推定时前进至步骤S60。
在步骤S50中,接受错误推定的判定,修正部16进行修正该推定结果的处理。有关修正方法,也从实验结果的解析中获得见解。关于有效的修正方法在后面叙述。
在步骤S60中,输出部14根据在步骤S20所得的推定结果、或根据步骤S50的修正结果而实施设备动作。例如若是变更电视节目的问题,则在选择项中提示电视节目名称等,作为本步骤的设备动作意味着将所显示的画面切换为已选择的节目名称。
通过如上述的处理,修正装置3进行动作。下面,说明上述的各步骤的详细情况。
4、脑波接口的动作概要和处理过程
首先,对在图3的步骤S10中进行的脑波IF装置2的动作进行说明。
脑波IF装置2使用事件相关电位,从可视数据终端等显示的多项选择项目中识别用户想选择怎样的项目。图4表示脑波IF装置2的处理流程,在图5中表示脑波接口的动作例。
下面,顺着图4的流程,说明脑波IF装置2的动作。
在步骤S11中,输出部14显示列举有目前可选择的选择项的菜单。启动脑波接口时,显示有如图5(a)的菜单画面21。画面中提示有“想浏览什么样的节目?”之类的提问22和想看的节目候补即选择项23。在此显示有“棒球”22a、“天气预报”23b、“动画”23c、“新闻”23d四种。这***中的一种用明显的颜色强调突出显示。例如在画面21中强调突出“棒球”23a。
在步骤S12中,控制部17选择强调突出的项目。在图5(a)的示例中首先选择最上边的“棒球”25a。下面,每当执行该步骤S42时,顺次选择下一个选择项,第四个新闻的下一个再返回第一个棒球。
在步骤S13中,在输出部14强调突出显示有步骤S12中选择的项目。所谓强调突出显示即利用比另外的项目明显的背景显示、或利用明显的文字颜色显示,除此以外,通过用光标等指引来指示。在此,用户10观察到时,只要***侧传递现在对怎样的项目注意并想得到即可。在脑波IF装置2中,用户10在自身想选择的选择项被强调突出的时刻,意识为“想选择”或意识到仅仅被强调突出。该意识由脑波显示,在下一个步骤中由脑波仪来测量。
在步骤S14中,由身体信号测量部11取得事件相关电位,在对应各选择项的存储器(未图示)中储存。事件相关电位由身体信号测量部11的脑波仪来取得,事件相关电位的起点设定为在步骤S13强调突出显示的瞬间,取得在比该瞬间例如200毫秒前到1秒后的脑波。由此,得到用户对强调突出显示的项目的反应。在此将用户的反应储存在对应各选择项的存储器中,从而可以进行选择项间的波形比较等。
在步骤S15中,控制部17判定是否已显示全部的选择项。若已显示全部的选择项,则前进至步骤S16,没有显示全部的选择项时,则返回步骤S12,确定接着应该强调突出的选择项。
在步骤S16中,控制部17判定全部的选择项是否已按规定的次数显示。在脑波接口中多是在脑波的波形不稳而在一个一个的波形中较多包含噪声的情况下,进行通过加算平均取出需要的信号的处理,由此得到解决。其重复次数例如设定为5次或10次,各选择项分别被多次地强调突出,将其反应相加用于信号判别。该重复次数根据脑波的状态及个人的波形状态、判别精度等来决定,有时也有可能为一次而不必相加。
在步骤S17中,选择项推定部13对在步骤S14中储存的、各选择项的强调突出所对应的事件相关电位进行比较,抽出最包含P300的波形,判定选择了什么样的选择项。例如,在图5(b)的例中,各事件相关电位为24a~24d,在此只有24b成为特征性的波形,所以对应该波形24b的选择项即“天气预报”23b被确定为是用户10想选择的选择项。比较方法可列举出:例如比较约300毫秒附近的峰值振幅的大小,或根据典型的P300的波形做成模板并且计算出与该模板的类似度的方法。
通过上述的处理则可以根据事件相关电位推定选择项。
另外,在步骤S12中项目是顺次选择,但也可以是随机地选择的方法。由此,因为事前不明确选择什么样的项目,所以有可能更深切地注意菜单选择。
另外,脑波接口的处理也可考虑别的方法。在图4的处理(下面称方式1)中,比较全部的选择项的强调突出所对应的事件相关电位,从而推定用户希望的选择项,但也可以通过一个一个事件相关电位的处理,推定希望的选择项。下面,将该处理方法称为方式2。
在图6中表示根据一个一个的事件相关电位推定选择项的方式2的流程。对和图4的方式1的流程中所示的处理同样的处理,附加相同的步骤序号,只说明不同的部分。
在步骤S11~步骤S13中,进行与图4的方式1同样的处理。
在步骤S18中,身体信号测量部11取得事件相关电位。与图4的方式1不同,由于最后不需要进行事件相关电位的比较,所以只存储现在的波形即可。
在步骤S19中,脑波解析部12用识别方法调节后的识别方法识别现在取得的事件相关电位。所识别的内容是判别目前取得的脑波波形是对应用户10想选择的项目的波形、还是对应不想选择的项目的波形的内容。图5(b)中表示脑波波形的假定的例子24a~24d。在图5(b)中显示有对应各菜单项目被强调突出时的脑波。用户10想看“天气预报”23b时,只在“天气预报”23b的项目被强调突出时,表示看到特征的波形24b的样子。这是在事件相关电位中被称为P300的成分,是在菜单项目切换起约300毫秒后,看到阳性的特征波形。判定该成分是否被观察到。该成分被观察到时,前进至步骤S21,没有被观察到时则返回步骤S12。
在步骤S21中,选择项推定部13判定观察到用户10的P300成分的项目是用户10想选择的项目,确定选择项,进行下一个处理。
通过这样的处理,不用进行按钮操作等,利用脑波就可以选择希望的选择项。
5、本申请发明人等实施的实验的概要
下面,参照图7说明本申请发明人等实施的实验方法和数据处理方法。同时,参照图8说明向被验者提示的画面的例子。通过该实验可以特定用于判定推定结果是否正确的事件相关电位的特征。
图7表示实验方法及数据处理方法的处理过程。
在步骤S71中根据实验程序向用户10提出选择项目的指示。由此事先指定用户10应该选择什么样的项目,此后作为可以正确地判定用户10的事件相关电位的指标。图8(a)表示选择项目指示的例子。画面上出现如“请选择‘棒球’”31指示,用户按照指示选择项目。
在图7的步骤S72中,脑波IF装置2使脑波接口动作。具体地说,脑波IF装置2通过图4所示的处理,判定在向用户10提示了图8(b)所示的选择项32a~32d时的事件相关电位中是否包含有P300,根据该判定结果,确定这时的用户想选择的选择项。就选择项而言,如图8(b),顺次强调突出显示有各选择项。
在步骤S73中,作为推定结果例如显示有图8(c)的画面33。在画面33中显示有“你选择的是棒球”。该推定结果与在步骤S71做出指示的项目无关,是在步骤S72的内部对脑波进行处理后的结果。因此,并非总是成为如在步骤S71中指示的推定结果。其原因可认为有以下多个:脑波处理算法是通用的而不能对应个人差异导致错误;噪声混入的原因;无法顺利地提取脑波等。
在步骤S74中,取得以显示在步骤S73中推定结果的时点为起点的事件相关电位。取得范围例如是从起点起-100毫秒~1000毫秒等。其中,-100毫秒~0毫秒的事件相关电位用于基准线修正。另外,比起点更靠前开始取得事件相关电位,这些在技术上不存在问题是可能的。这是因为例如只要从显示推定结果之前开始取得事件相关电位,事后采用起点-100毫秒以后的事件相关电位即可。或者,由于画面内显示推定结果的时刻可预先调节,所以比它还先控制事件相关电位的取得开始时刻也可以。
在步骤S75中判定在步骤S71中向用户10指示的选择项和在步骤S73中显示的***推定的选择项是否相同。如果是一致时,前进至步骤S76,一致时前进至步骤S77。
在步骤S76中,将在步骤S74中取得的波形数据作为用户10可以正确地使用脑波接口时的波形储存。一般可以认为在该事件相关电位中包含有确认反馈如用户10所想的结果时的信息。
在步骤S77中,将在步骤S74中取得的波形数据作为用户10不能正确地使用脑波接口或作为接口侧错误判别时的波形储存。一般可以认为在该事件相关电位中包含有知晓反馈与用户10所想的不同的结果时的信息。
通过从该步骤S71至步骤S77的处理,能够取得针对某个规定的选择项目指示、用户10是否能够正确地操作脑波接口或是否向脑波接口正确地传送用户10的操作意图所相关的事件相关电位。通过改变选择项目,并且以规定的次数重复该操作,可以收集用户10能够正确推定时、不能推定时的波形。在实验中对12名被验者实施了该处理。
图9表示对通过图7所示的实验程序所收集的事件相关电位的波形进行加算平均后的波形。脑波按头皮上的Pz(国际10-20法)的电位变化以耳朵为基准进行测量。只汇总包含12名被实验者中错误判别的事例的数据。纵轴是头皮上的电位,单位是μV,横轴是以显示推定结果的时点为起点的经过时间,单位是毫秒。
在图9中虚线41是能够正确地选择选择项、进行正确的判别时的波形。该虚线41的波形具有以约300毫秒为中心的、向下(阳性)的山形的波形,认为这是如用户期待的反馈自***返回时所诱发的P300的波形。
另一方面,实线42的波形是显示与用户10想定的选择项不同的选择项时的波形。该红色的波形具有以约400-600毫秒为中心的向下(阳性)的比较平缓的山形的波形。认为这是与用户希望的选择项不同的选择项自***返回时所诱发的波形。这是具有被看作比P300更迟的时间带的阳性成分的波形。本说明书中将该波形称为“后期阳性电位”(Late PositivePotential:LPP)。
作为与该后期阳性电位类似的信号,可举出日本特许第3786952号的“服务提供装置、期待落空判定装置及期待落空判定方法”的从反馈时点起约600毫秒后具有阳性成分的信号。该专利涉及的信号是在相对自身的行为的反馈不是明确按照期待时所出现的信号,得到在约550~600毫秒附近具有比较明确的峰值的波形。
在本发明的此次的实验中,可以认为得到了新的信号。其理由是对在朝向设备要传达意图的场面下不能正确传达的状况进行测量、状况不同及波形特征也相互不同。另外,即使在按照意图的选择项可以选择的场面(如期待的场面)的波形的比较中,由于在上述的专利文献中没有观察到P300,可以说是在不同的状况下进行的测量。
总结实验的结果,就会重新得到下面的见解。即,进行正如用户10期待的反馈时、即***对脑波可以进行正确的判别时,观察到P300。另一方面,进行与用户10期待的不同的反馈时、即在***错误地进行选择项的推定时,观察到后期阳性电位。
通过检测上述的信号,可以判定***是否能够正确地推定用户10的选择项。对于信号的区别,比较向下的山形的波形的顶点的时间(潜时)、或以图8的加算波形为模板并且观察到与该模板的形式不同,由此可以检测出***侧的推定错误,知道是否需要推定结果的修正。更具体地说,根据向下的山形的波形顶点的潜时是距600毫秒近、还是距300毫秒近就可以判别,可以判定为在距600毫秒近时产生后期阳性电位、在距300毫秒近时产生P300。
另外,由于后期阳性电位的山形的波形平缓,故在顶点的检测困难时,也可以分别将后期阳性电位和P300的加算波形做成模板,根据其与哪一个模板接近,进行后期阳性电位的检测。
或者,比较图9的两条波形,电位在比约450毫秒更早的时间带其P300的这一方变大,在比约450毫秒更迟的时间带,后期阳性电位这一方电位(振幅)大。由此,也可以使用电位变化进行判别。例如,将450毫秒和600毫秒的区间平均电位和300毫秒~450毫秒的区间平均电位进行比较,认为在前者这一方大时判定为P300产生、在后者这一方大时判定为后期阳性电位产生等。
6、修正时用于利用的数据分析
下面,对于修正方法进行研讨。图10(a)表示对每次试验中在图4的步骤S14储存的事件相关电位的、正解选择项的振幅的大小在全部选择项之中是第几个进行分析、计数的表。该表表示在实施图7的步骤S72的脑波接口中,正解的选择项所对应的P300的振幅大小,在也包含其他的选择项的全部中即在四个事件相关电位之中是第几。例如,提示正解时的P300的振幅在全部96次试验中的69次试验中取得最大值,即表示P300的振幅比任一个不正解选择项被提示时都大。另外,表示全部96次试验当中的14次试验中取得大小为第二的值。
在步骤S72的脑波接口中,将对应各选择项的强调突出显示时点的四个事件相关电位当中P300成分或其附近的时刻的成分的振幅最大的波形作为推定选择项来确定。但是,实际上脑波波形由于不稳定及噪声混入等,并非一定始终在四个选择项当中取得最大振幅。图10(a)表示了这些情况。
用12名被试验者各进行8次选择试验,分析全部96次试验的数据。其中正解的选择项的P300的振幅最大的试验是69次试验,占全部的72%。因此,推定为P300的最大振幅是正解选择项时的正确回答率为72%。
另外,如图10(a)的表所示,从波形的振幅分析结果可知,用户10想选择的选择项是四个选择项中的第二的事例为14次,是第三的事例为7次,是第四的事例为6次。
根据该结果,即使假若得到最大振幅时的选择项不正确(在表中,96次中的27次),也可以读取到第二振幅的选择项正解的概率为27次中的14次,表示达到50%以上。因此,在图3的步骤S40中判定为推定错误时,对相对于使用脑波接口时的各选择项的强调突出显示的事件相关电位当中P300的振幅大小为第二的选择项进行修正,由此在二分之一以上的情况中为正解。充分利用该见解,也可进行一定程度的修正。
图10(b)表示根据图10(a)的实验数据的修正效果的研究结果。全部96次试验当中,没有错误可以正确推定的事例为69次,可以算出没有错误判定时的正解率为72%。与此相反,至少导入一次错误判定后的修正(对于振幅大小为第二的候补进行修正的情况)时,错误次数27次中14次被正确地修正,合计96次中83次(=69次+14次)可以达到正解,整体的正确回答率提高到87%。
这样,在P300的振幅的上位2位以内,大量事例集中的理由是因为,一般认为噪声隔开一定程度的间隔突发性地产生,在全部的选择项的提示中平均性地产生影响。例如眨眼睛产生的眼电的变化作为突发的变化使脑波受到影响,这时也认为,相对四个选择项的事件相关电位之中,对应正解的选择项的事件相关电位和受到眼电影响的事件相关电位混在,这种情况下产生1位和2位的混同。根据该观点,认为,在选择项为5个及其以上的情况下,只要噪声混入不连续,在1位或2位中也包含正解选择项,该修正是有效的。选择项的强调突出显示轮一回,也依存于强调突出显示的间隔(例如0.3秒~1秒左右),设定为1~3秒左右,所以通常情况下,在该期间眨眼不会发生多次,所以该修正有效地发挥作用。
根据这样的理由,认为对于2位的选择项和3位以下的选择项,正解脑波混入的概率产生较大差异。该特性在选择项的数量不是4而是5以上的情况也适用。
另外,假定正解选择项为3位以下的条件时,必需在正解选择项以外的2以上的选择项中观察到和P300类似的波形。这种条件在突发地混入的噪声源中不易产生。由此认为,因其它原因,正解选择项为3位以下。
例如,考虑在强调突出显示的时刻没有出现用户的脑波等用户侧的原因及噪声经常混入而波形不稳定等状况,这种情况下,进行过滤的改善、电源及电极安装方法的研究等稳态噪声对策,由此可以提高在2位以上包含正解的可能性。
另外,在本实验中表示了对12名被实验者进行的实验的结果,但脑波IF装置2中的判别方法采取了对从200毫秒至500毫秒的区间平均电位进行比较的方法。该方法对各种形状的脑波波形比较可靠地发挥作用,但也有难于说正确地判定了P300的方面。可以认为通过改良判别方法,也可提高最初的72%的正解率。另外,对每个人的数据进行最合适化也是有效的方法。
这种判别方法的改善有助于在多个选择项中去除稳态混入的噪声,降低在与P300类似的波形中观察到多个选择项的波形的概率。由此认为,增大了正解选择项为2位时和为3位以下时的概率的差,提高了对于2位的候补进行修正的效果。
另外认为,最初的72%的正解率提高时,错误推定检测步骤S40的检测精度也提高。可以想象,已知在脑波中,相对低频次的事件振幅增加(参照宫田洋监“新生理心理学2卷P14),并且认为显示与用户10的意图不同的推定结果时的后期阳性电位的振幅也增加,检测变得容易。
因此预测,通过对判别方法进行调谐调整,错误判定的检测精度也提高,整体精度几何级地提高。
如上所述可知,根据错误推定时的用户10的特征性脑波成分,在设备侧就可以把握推定结果是否错误,具有可以进一步自动地修正的可能性。
7、错误推定检测处理及推定结果修正处理的过程的详细情况
依据到目前为止得到的实验结果,接着,参照图11及图12详细地说明本实施方式的错误推定检测处理及推定结果修正处理的过程。该处理在推定选择项得以确定且在对用户显示后执行。
图11时序性地表示实施方式采用的脑波IF装置2及修正装置3的处理。横轴是时间轴,时间向右方向推进。在图11中在时间轴的上侧记载有处理内容。下面,沿着时间轴对处理进行概述。
首先,脑波IF装置2的控制部17反复进行项目选择及强调突出显示(图11步骤S101)。而且储存其每次事件相关电位的波形(步骤S102)。这些处理对应图4的步骤S12~S14。
项目的强调突出显示结束后,脑波IF装置2的选择项推定部13根据所储存的事件相关电位的波形,推定并确定选择项(步骤S103)。该处理对应图4的步骤S17。
而后,输出部14显示推定结果(步骤S104)。
以后,由修正装置3开始进行判定该选择项是否是用户希望的选择项的处理。
修正装置3将显示由输出部14推定的选择项的时点作为起点,取得例如-100毫秒~600毫秒的范围的事件相关电位的波形(步骤S105)。
并且,修正装置3的判定部15判定在所得的事件相关电位中是否产生图9中说明的后期阳性电位。判定部15认定后期阳性电位产生时(步骤S106),可以说由输出部14显示的选择项是错误的。于是,修正部16执行对已推定的选择项进行修正的处理,确定其它选择项(步骤S107)。此时,作为确定其它选择项的依据所利用的是确定最初的选择项时被利用的、所储存的事件相关电位。
修正部16抽出项目强调突出显示时所储存的事件相关电位,将该事件相关电位的P300的振幅的大小为第二时所提示的选择项作为下一个候补进行选择。
修正部16将该选择项作为修正结果通知脑波IF装置2,输出部14提示该选择项。脑波IF装置2使设备执行该选择项所对应的动作(步骤S108)。
下面,参照图12说明处理过程。图12表示本实施方式的错误推定检测处理及推定结果修正处理的过程。先进行项目强调突出显示,对某选择项作为表示用户意图的选择项进行推定且特定。
在步骤S30中输出部14显示推定选择项。
在步骤S40中身体信号测量部11测量推定结果确认用的脑波(事件相关电位)。由图11中可以明了,该测量不是针对选择项强调突出显示进行的事件相关电位的测量。
在步骤S51中,身体信号测量部11以步骤S30中的显示时点为起点,将事件相关电位切出。切出范围例如为-100毫秒~600毫秒。只要在该范围,则可以缩短脑波IF***1的反应时间。但是,在反应时间上允许有富余的情况下,也可以是例如-100毫秒~1000毫秒。该间隔根据***所要求的反应时间和检测精度的平衡来确定。
在步骤S52中,判定部15判定在步骤S51中被切出的事件相关电位之中是否包含有后期阳性电位。对于后期阳性电位的判定可以通过使用波形的形状及顶点的潜时处于何毫秒附近等来判定。另外,也可以制作标准的P300和后期阳性电位的波形的模板,计算出现在的波形与哪一个模板接近。判定为包含有后期阳性电位时则前进至步骤S61,进行推定选择项的修正。而判定为不包含后期阳性电位时,则意味着推定正确。处理前进至步骤S63。
在步骤S61中,为了进行推定选择项的修正,修正部16部从存储器中抽出对应在图4的步骤S14储存的各选择项的强调突出显示的事件相关电位。各事件相关电位根据步骤S16的反复次数,有时进行加算平均,有时不进行加算平均。
在步骤S62中,修正部16根据与步骤S61所抽出的各选择项的强调突出显示对应的波形,将振幅为2位的选择项作为候补进行修正。由此,可以有效地利用在第1位错误时第2位的选择项以二分之一以上的概率是正解这种见解。
在步骤S63中没有选择项的修正,所以修正部16对脑波IF装置2输送表示不进行选择项的修正的信号。其结果是,在步骤S30中确定的选择项作为最终选择项从脑波解析部12输送到输出部14。其后处理前进至步骤S64。
在步骤S64中,设备接受应该执行的确定最终的选择项的处理,输出部14使设备执行动作。例如本实施方式,在电视的节目选择中,对电视指示切换为所选择的节目并显示。
根据这样的处理,即使在由于脑波起伏及噪声的混入等设备错误推定时,也能进行该选择项的修正,可以减少再操作的次数,所以脑波接口的操作性提高。
根据上述构成,脑波信号不仅在脑波接口的选择项的推定中使用,而且在选择项的推定结果的正误的判别中也使用,所以可以更正确地传达用户的意图,可以有效地使用脑波接口。
(实施方式2)
在实施方式1中对修正装置的整体动作进行了说明。
在本实施方式中,对使用脑波IF装置2的动作中的脑波而可进一步可以调节错误推定的检测精度的例子进行说明。
本申请发明人等着眼于以下方面。即在实行脑波接口时,如图5(b),对各选择项的强调突出显示,观察到各种各样的波形,但是根据该波形的状况,可以判定用户的选择意图以怎样的程度清楚明了地向设备传输。根据该判定内容可以调节错误推定检测的方法。
下面,参照图13并根据脑波IF装置2的P300的可靠度,说明对判定后期阳性电位的阈值进行调节的处理。
图13表示本实施方式的后期阳性电位的判定阈值的调节方法的过程。该处理作为在判定部15中进行的错误推定检测处理的一部分来执行。
在步骤S81中,为了参照脑波接口实施时的波形,判定部15从存储器中抽出与在图4的步骤S14储存的各选择项的强调突出显示对应的事件相关电位。各事件相关电位根据步骤S16的反复次数,有时进行加算平均,也有时不进行加算平均。
在步骤S82中,判定部15根据在步骤S81中抽出的波形,选出P300的振幅最大的波形。振幅的计算方法可考虑例如在200毫秒至400毫秒的区间抽出山形的波形,使用其最高点的振幅等。
在步骤S83中,判定部15根据在步骤S83抽出的波形,选出P300的振幅大小为第二的波形。
在步骤S84中,检测在步骤S82和S83中抽出的两个振幅的差。其差比阈值大时,前进至步骤S84,比阈值小时前进至步骤S87。该振幅的差可以作为振幅为最大的用户的选择项的候补与其它选择项相差到何种程度、即以何种程度在明确地想选择的选择项中观察到了P300的波形的指标来利用。
就脑波而言,其起伏多、也易受到噪声的影响。因而可以设想,在受到噪声的影响或偶尔成为与P300类似的形状时,可以观察到包含真正的P300的事件相关电位和包含与P300类似的形状的事件相关电位这两个事件相关电位,振幅的1位和2位的差变小。这时,认为2位是正解的可能性高。
另外认为,振幅的差可以实验性地确定为妥当的值,差的大小例如为数μV,更具体地说,可以使用2μV等。另外,不根据差的绝对值而根据振幅的大小之比也可以判定,也可以将观察到1位的振幅为何%以上的振幅作为指示。例如只要在2位振幅比1位振幅的80%大时判定为差较小,为80%以下时判定为差较大即可。该值也可以在实验中确定为妥当的值。
步骤S85及步骤S87表示用判定部15的处理结果表示的可靠度的高低。
步骤S85中,作为在步骤S84中判定为振幅差较大的结果,意味着可靠度高。所谓1位和2位的振幅差较大的情况,可认为是P300的波形在全部选择项中突出其一,P300的波形正确地出现。由此,可以说该波形的可靠度较高。可靠度高时,只要在错误推定检测步骤S40中,进行尽可能难以检测错误推定的信号的设定即可。在错误推定检测步骤的后期阳性电位的有无判定中,也使用脑波,所以有噪声混入的可能性,调节后期阳性电位的检测容易度,关系到修正装置3的整体的效率提高。
因此,在步骤S86中,将错误推定检测步骤S40的后期阳性检测的阈值设定为较高的值。阈值例如与用于后期阳性电位检测的基准的振幅大小等相对应。提高阈值时,就会判定只有在振幅较大的情况下产生后期阳性电位。由此,后期阳性电位不容易进行检测,即使因一些噪声的影响观察到与后期阳性电位类似的波形,也就无法检测出后期阳性电位。
就步骤S87而言,作为在步骤S84中判定为振幅差小的结果,意味着P300检测的可靠度低。这是因为可以认为用户10实际希望的选择项为2位的选择项的可能性也高。
因此在步骤S88中,与步骤S86相反,将后期阳性电位的阈值设定为较低的值,容易检测出后期阳性电位,由此能尽量不放过错误推定时的后期阳性电位反应。
这样,根据在脑波IF装置2中储存的事件相关电位的波形的形状特征,可以提高判定部15的可靠度。
另外,在本实施方式中,可靠度的判定使用了振幅的差,只要根据以选择项候补的1位和2位是明显不同还是类似的信息为基础,计算出可靠度即可。例如,即使使用1位和2位或1位以外的波形的类似度、或使用与标准的P300的模板的相关系数,也可以同样地进行可靠度的判别。
这样,通过对判定部15的检测后期阳性电位成分的检测的阈值也进行调节,错误推定时的判定更加精确,进一步提高接口的使用容易度。
以上,对于上述的实施方式1及2的任一个,使用流程进行了说明的处理都可以作为计算机执行的程序来实现。这种计算机程序被记录在CD-ROM等记录介质中作为制品在市场上流通,或者,通过因特网等电通信电路来传输。去除输出部14的脑波IF装置2的整体及修正装置3作为执行计算机程序的通用的处理器(半导体电路)来实现。或者,作为这种计算机程序和处理器一体化的专用处理器来实现。
产业上的可利用性
本发明的修正装置3,在设备控制使用脑波接口的***中,在基于脑波的用户希望的选择中存在错误的各种场面,作为候补所推定的选择项可修正为新的选择项,由此可进行广泛应用。

Claims (11)

1、一种修正装置,其被编入脑波接口***,其中,
所述脑波接口***具有:
身体信号测量部,其测量并储存用户的脑波信号;
解析部,其对所述脑波信号包含的事件相关电位进行解析;
推定部,其根据所述脑波解析部的解析结果,推定用户希望的选择项;
输出部,其向用户提示由所述推定部推定出的选择项,
所述身体信号测量部测量以向所述用户提示所述选择项的时点为起点的所述用户的脑波信号,
所述修正装置具备:
判定部,其根据所述选择项推定后所取得的所述脑波信号包含的事件相关电位,判定所推定的所述选择项的正误;
修正部,在判定为所推定的所述选择项错误时,根据在所述选择项的推定前储存的所述事件相关电位,修正所推定的所述选择项,根据修正后的选择项指示设备动作。
2、如权利要求1所述的修正装置,其中,所述判定部根据所述选择项推定后所取得的所述脑波信号中的事件相关电位在600毫秒附近的阳性波形,对所推定的所述选择项的正误进行判定。
3、如权利要求2所述的修正装置,其中,
所述判定部保持用于判定所述选择项的正误的阈值;
所述判定部根据所述选择项推定后所取得的所述脑波信号中的事件相关电位在600毫秒附近的阳性振幅的大小是否在所述阈值以上,对所推定的所述选择项的正误进行判定。
4、如权利要求2所述的修正装置,其中,
所述判定部保持用于判定所述选择项的正误的阈值;
并且,所述判定部对于在所述选择项推定前取得的所述脑波信号、即对应所推定的所述选择项的提示而测量的事件相关电位及对应其他的选择项的提示而测量的事件相关电位,根据300毫秒附近的特征的差异,改变所述阈值。
5、如权利要求4所述的修正装置,其中,
所述判定部对于对应所推定的所述选择项的提示而测量的事件相关电位及对应其它选择项的提示而测量的事件相关电位,根据300毫秒附近的顶点振幅的大小的差异,改变所述规定的阈值。
6、如权利要求5所述的修正装置,其中,
所述判定部为了判断所述顶点振幅的大小的差异而保持基准阈值;
所述判定部在所述顶点振幅的大小比所述基准阈值大时,把用于判定所述选择项的正误的阈值变化得更大。
7、如权利要求1所述的修正装置,其中,
所述修正部使用在所述选择项推定前取得的、对应各选择项的提示而测量的事件相关电位,修正所述选择项。
8、如权利要求7所述的修正装置,其中,
在所述选择项推定前,
所述输出部顺次提示多项选择项;
所述身体信号测量部储存以各选择项的提示为起点而分别测量的所述用户的脑波信号;
所述解析部将对应各选择项的所述脑波信号中的事件相关电位中、对应振幅最大的事件相关电位的选择项推定为所述用户希望的选择项;
所述修正部采用对应各选择项的所述脑波信号中的事件相关电位的、对应振幅大小为第二的事件相关电位的选择项,作为所推定的所述选择项的修正候补。
9、如权利要求1所述的修正装置,其中,在通过所述判定部判定出所推定的所述选择项正确时,所述修正部对所推定的所述选择项不进行修正。
10、一种修正方法,是在脑波接口***中所执行的修正方法,其中,
所述脑波接口***具有:
身体信号测量部,其测量并储存用户的脑波信号;
解析部,其分析所述脑波信号包含的事件相关电位;
推定部,其根据所述脑波解析部得到的分析结果,推定用户希望的选择项;
输出部,其向用户提示由所述推定部推定出的选择项,
所述身体信号测量部以向所述用户提示所述选择项的时点为起点,测量所述用户的脑波信号,
所述修正方法包含:
根据在所述选择项推定后取得的所述脑波信号所包含的事件相关电位,对所推定的所述选择项的正误进行判定的步骤;
在判定出所推定的所述选择项错误时,根据在所述选择项推定前储存的所述事件相关电位,对所推定的所述选择项进行修正的步骤;
根据修正后的选择项指示设备动作的步骤。
11、一种计算机程序,在被编入脑波接口***的修正装置中执行,其中,
所述脑波接口***具有:
身体信号测量部,其测量并储存用户的脑波信号;
解析部,其分析所述脑波信号包含的事件相关电位;
推定部,其根据所述脑波解析部得到的分析结果,推定用户希望的选择项;
输出部,其向用户提示由所述推定部推定出的选择项;
所述身体信号测量部测量以向用户提示所述选择项的时点作为起点的所述用户的脑波信号,
所述计算机程序使所述修正装置的计算机执行以下步骤:
根据在所述选择项推定后取得的所述脑波信号所包含的事件相关电位,对所推定的所述选择项的正误进行判定的步骤;
在判定出所推定的所述选择项错误时,根据在所述选择项推定前储存的所述事件相关电位,对所推定的所述选择项进行修正的步骤;
根据修正后的选择项指示设备动作的步骤。
CN2008800113178A 2007-10-29 2008-10-28 被编入脑波接口***的修正装置、方法及计算机程序 Active CN101652740B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007280896 2007-10-29
JP280896/2007 2007-10-29
PCT/JP2008/003059 WO2009057278A1 (ja) 2007-10-29 2008-10-28 脳波インタフェースシステムに組み込まれる補正装置、方法およびコンピュータプログラム

Publications (2)

Publication Number Publication Date
CN101652740A true CN101652740A (zh) 2010-02-17
CN101652740B CN101652740B (zh) 2012-06-13

Family

ID=40590685

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008800113178A Active CN101652740B (zh) 2007-10-29 2008-10-28 被编入脑波接口***的修正装置、方法及计算机程序

Country Status (4)

Country Link
US (1) US8271076B2 (zh)
JP (1) JP4630382B2 (zh)
CN (1) CN101652740B (zh)
WO (1) WO2009057278A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102473036A (zh) * 2010-02-25 2012-05-23 松下电器产业株式会社 脑波界面***、脑波界面提供装置、脑波界面的执行方法及程序
CN103099693A (zh) * 2013-02-07 2013-05-15 王禹 基于脑电/语音指令助残控制***
CN104799984A (zh) * 2015-05-14 2015-07-29 华东理工大学 基于脑控移动眼的残疾人辅助***及其控制方法
CN109475351A (zh) * 2016-09-29 2019-03-15 麦克赛尔株式会社 任务执行顺序决定***以及任务执行方法
CN112141116A (zh) * 2019-06-26 2020-12-29 现代自动车株式会社 利用错误监测的移动体控制方法和装置

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2081100B1 (en) * 2006-11-15 2012-08-08 Panasonic Corporation Adjusting device for brain wave identification method, adjusting method and computer program
US8155736B2 (en) 2009-03-16 2012-04-10 Neurosky, Inc. EEG control of devices using sensory evoked potentials
US8391966B2 (en) * 2009-03-16 2013-03-05 Neurosky, Inc. Sensory-evoked potential (SEP) classification/detection in the time domain
KR101205892B1 (ko) * 2010-08-24 2012-11-28 연세대학교 원주산학협력단 뇌파 신호로부터 2차원 공간-주파수 erd/ers 패턴을 생성하는 방법, 이 2차원 공간-주파수 erd/ers 패턴을 이용한 인간 의도를 분류하는 방법 및 이 분류 방법으로 분류된 뇌파 신호를 입력신호로 사용하는 뇌-컴퓨터 인터페이스 장치
WO2015198309A1 (en) * 2014-06-23 2015-12-30 Hochman Eldad Izhak Detection of human-machine interaction errors
US20170199748A1 (en) * 2016-01-13 2017-07-13 International Business Machines Corporation Preventing accidental interaction when rendering user interface components
US10671164B2 (en) 2017-12-27 2020-06-02 X Development Llc Interface for electroencephalogram for computer control
US10952680B2 (en) 2017-12-27 2021-03-23 X Development Llc Electroencephalogram bioamplifier
US10901508B2 (en) * 2018-03-20 2021-01-26 X Development Llc Fused electroencephalogram and machine learning for precognitive brain-computer interface for computer control
CN113662564B (zh) * 2021-09-24 2022-10-14 电子科技大学 一种基于本征模函数相干分析的事件诱发电位提取装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61184683A (ja) 1985-02-12 1986-08-18 Nec Corp 認識結果選択方式
JP3748429B2 (ja) 2002-11-06 2006-02-22 日本電信電話株式会社 音声入力型複合名詞の検索装置および音声入力型複合名詞の検索方法
JP2004275619A (ja) 2003-03-19 2004-10-07 Kumamoto Technology & Industry Foundation 画像刺激−脳波意思伝達方法、及びそれに用いるシステム
US7546158B2 (en) * 2003-06-05 2009-06-09 The Regents Of The University Of California Communication methods based on brain computer interfaces
WO2005001677A1 (ja) 2003-06-27 2005-01-06 Matsushita Electric Industrial Co., Ltd. サービス提供装置
JP4369290B2 (ja) 2003-07-02 2009-11-18 尚之 加納 事象関連電位を利用したヒトの心理状態等の判定装置
WO2006051709A1 (ja) * 2004-11-10 2006-05-18 Matsushita Electric Industrial Co., Ltd. 誤操作検出装置およびこれを有する機器、誤操作検出方法、並びに機器評価方法
JP4891580B2 (ja) 2005-08-31 2012-03-07 株式会社東芝 不揮発性半導体記憶装置
WO2007066440A1 (ja) * 2005-12-08 2007-06-14 Matsushita Electric Industrial Co., Ltd. 情報処理システム、情報処理装置および方法
US20090062680A1 (en) * 2007-09-04 2009-03-05 Brain Train Artifact detection and correction system for electroencephalograph neurofeedback training methodology

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102473036A (zh) * 2010-02-25 2012-05-23 松下电器产业株式会社 脑波界面***、脑波界面提供装置、脑波界面的执行方法及程序
CN102473036B (zh) * 2010-02-25 2015-06-24 松下电器产业株式会社 脑波界面***、脑波界面提供装置以及脑波界面的执行方法
CN103099693A (zh) * 2013-02-07 2013-05-15 王禹 基于脑电/语音指令助残控制***
CN104799984A (zh) * 2015-05-14 2015-07-29 华东理工大学 基于脑控移动眼的残疾人辅助***及其控制方法
CN109475351A (zh) * 2016-09-29 2019-03-15 麦克赛尔株式会社 任务执行顺序决定***以及任务执行方法
CN109475351B (zh) * 2016-09-29 2021-08-17 麦克赛尔株式会社 任务执行顺序决定***以及任务执行方法
CN112141116A (zh) * 2019-06-26 2020-12-29 现代自动车株式会社 利用错误监测的移动体控制方法和装置

Also Published As

Publication number Publication date
WO2009057278A1 (ja) 2009-05-07
US8271076B2 (en) 2012-09-18
JPWO2009057278A1 (ja) 2011-03-10
CN101652740B (zh) 2012-06-13
US20100106042A1 (en) 2010-04-29
JP4630382B2 (ja) 2011-02-09

Similar Documents

Publication Publication Date Title
CN101652740B (zh) 被编入脑波接口***的修正装置、方法及计算机程序
CN101589358B (zh) 脑波识别方法的调整装置、方法
US11717204B2 (en) Decoding the visual attention of an individual from electroencephalographic signals
KR101749706B1 (ko) 사용자 장치를 사용하여 획득된 상황 정보 및 생체 정보를 기반으로 사용자의 감정을 예측하는 방법 및 시스템
WO2017123203A1 (en) Determining visual testing coverages
US20100178640A1 (en) Computerized test apparatus and methods for quantifying psychological aspects of human responses to stimuli
JP2011138194A (ja) 情報処理装置、情報処理方法およびプログラム
CN109299290A (zh) 一种基于知识图谱的配乐推荐方法及电子设备
Brandenburg et al. The development and accuracy testing of CommFit™, an iPhone application for individuals with aphasia
CN110476180A (zh) 用于提供基于文本阅读的奖励型广告服务的方法及用于实行该方法的用户终端
Ntoa et al. UXAmI observer: an automated user experience evaluation tool for ambient intelligence environments
US20200185110A1 (en) Computer-implemented method and an apparatus for use in detecting malingering by a first subject in one or more physical and/or mental function tests
JP2019180666A (ja) 脈波検出端末プログラム、脈波解析サーバプログラム、脈波検出解析端末プログラム、
Bader et al. Towards automated detection of mobile usability issues
JP2003058298A (ja) 情報分類装置、情報分類方法、情報分類プログラム及びコンピュータ読み取り可能な記録媒体
CN112100294A (zh) 一种面向网络平台的用户关系分析方法、装置及相关设备
Ghosh et al. Impact of experience sampling methods on tap pattern based emotion recognition
Jeon et al. Exploratory visualization of smarphone-based life-logging data using Smart Reality Testbed
KR20200107163A (ko) 치매 노인을 위한 회상 요법 제공 방법 및 그 시스템
CN116440382B (zh) 一种基于多层强化策略的孤独症干预***及方法
CN117476172B (zh) 家庭健康管理方法、***以及计算机设备
Lin et al. Benchmarking handheld graphical user interface: Smoothness quality of experience
CN111078520B (zh) 对银行用户界面操作慌忙程度的判断方法
US20170330131A1 (en) Method and system for registering human cognitive activity
Kojima et al. Mental health self-check system using “Lyspect”

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant