CN104023802B - 使用神经分析的电子装置的控制 - Google Patents

使用神经分析的电子装置的控制 Download PDF

Info

Publication number
CN104023802B
CN104023802B CN201280019135.1A CN201280019135A CN104023802B CN 104023802 B CN104023802 B CN 104023802B CN 201280019135 A CN201280019135 A CN 201280019135A CN 104023802 B CN104023802 B CN 104023802B
Authority
CN
China
Prior art keywords
user
electronic installation
described user
relation
neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280019135.1A
Other languages
English (en)
Other versions
CN104023802A (zh
Inventor
R.陈
O.卡林里
R.L.马克斯
J.R.斯塔弗德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment Inc filed Critical Sony Computer Entertainment Inc
Publication of CN104023802A publication Critical patent/CN104023802A/zh
Application granted granted Critical
Publication of CN104023802B publication Critical patent/CN104023802B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Neurosurgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Health & Medical Sciences (AREA)
  • Dermatology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

一种电子装置可以使用神经分析来控制,通过使用与电子装置关联的一个或多个神经传感器为该装置用户的一个或多个身体部分测量神经活动水平。可以使用已确定的每个神经活动水平确定在用户的一个或多个身体部分和通过用户与电子装置的一个或多个组件的意图交互之间的关系。控制输入或一组减少的可能动作可以基于已确定的关系为电子装置建立。

Description

使用神经分析的电子装置的控制
技术领域
本发明的实施方案针对用于计算机程序的控制接口,并且更特定地涉及由神经分析控制的控制接口。
背景技术
有可以用来向计算机程序提供输入的数种不同的控制接口。这样接口的例子包括众所周知的接口如计算机键盘、鼠标或摇杆控制器。这样的接口通常具有提供可以映射到特定指令的电信号或影响计算机程序执行的输入信号的模拟或数字开关。
近来,已研发出与依靠其他类型输入的计算机程序一起使用的接口。有基于麦克风或麦克风阵列的接口、基于摄像机或摄像机阵列的接口以及基于触摸的接口。基于麦克风的***用于试图用语音输入代替键盘输入的语音识别***。基于麦克风阵列的***可以跟踪声源并翻译声音。基于摄像机的接口尝试以用户或由用户手持物体的姿态和动作替代摇杆输入。基于触摸的接口尝试替代键盘、鼠标和摇杆控制器作为与计算机程序交互的主要输入组件。
不同接口具有不同优点和缺点。键盘接口适于输入文本但不太用于输入方向命令。摇杆和鼠标适于输入方向命令而不太用于输入文本。基于摄像机的接口适于跟踪在二维中的物体,但一般需要某种形式的增大(例如使用两个摄像机或具有回声定位的单个摄像机)从而跟踪在三维中的物体。基于麦克风的接口适于识别语音,但不太用于跟踪物体的空间定向。基于触摸的接口提供与计算机程序的更直观交互,但经常经历潜伏期问题与涉及曲解用户意图的问题。希望提供通过在与计算机程序交互期间分析用户的附加特性补充接口中的一些的接口。
计算机程序的给定用户可以在与计算机程序交互期间在神经***中展现各种活动水平。这些活动水平在与计算机程序交互时提供关于用户意图的有价值信息。这样的信息可以帮助补充上述这些接口的功能性。
在该背景下本发明的实施方案出现。
发明内容
本发明的实施方案涉及使用神经分析控制在电子装置上运行的计算机程序的方法。
附图说明
图1是流程图,其示出根据本发明的实施方案的使用神经分析控制在电子装置上运行的计算机程序的方法。
图2是示意图,其示出根据本发明的实施方案的经配置测量用户身体部分的神经活动水平的电子装置的组件。
图3A是示意图,其示出根据本发明的实施方案的可以经配置测量用户身体部分的神经活动水平的环装置。
图3B是示出图3A的环装置与手持装置一起使用的示意图。
图4是示意图,其示出根据本发明的实施方案的用于使用神经分析控制在电子装置上运行的计算机程序的***。
图5示出计算机设备的框图,该计算机设备可以用来实施根据本发明的实施方案的使用神经分析控制电子装置的方法。
图6示出根据本发明的实施方案的非暂时性计算机可读存储介质的例子。
具体实施方式
图1是流程图,其示出根据本发明的实施方案的使用神经分析控制在电子装置上运行的计算机程序的方法。第一步涉及使用与电子装置关联的一个或多个神经传感器为计算机程序用户的一个或多个身体部分测量神经活动水平,如在101表示。取决于应用,这些神经传感器可以位于电子装置的各种组件上的各种位置,从而促进测量用户不同身体部分的神经活动水平。例如并且没有限制,用户可以使用控制器与视频游戏***通信,该控制器包括经定位在玩游戏期间测量用户手指中的一根或多根的神经活动的神经传感器。用于神经传感器的可替换配置在下面更详细描述。如本文使用,术语组件指代包括实际装置自身的与电子装置关联的任何接口组件(例如控制器、摄像机、麦克风等)。
一旦已确定给定用户的身体部分的神经活动水平,则确定在用户的测量身体部分和通过用户与电子装置的一个或多个组件的意图交互之间的关系,如在103表示。例如并且没有限制,用户手指的神经活动水平可以用来确定用户手指相对于视频游戏控制器的位置/加速度。该关系可以对应于在与电子装置交互(例如意图推动游戏控制器上的按钮)时的用户意图。附加传感器可以用来提供补充信息从而帮助促进确定在用户身体部分和电子装置组件之间的关系。例如并且没有限制,与电子装置关联的摄像机可以经配置跟踪用户眼睛的凝视方向以便确定用户是否意图推动游戏控制器上的按钮。神经传感器可以经由允许用户例如通过菜单配置装置来独立地确定在用户身体和电子装置组件之间的关系。
一旦关系已确定,则可以基于在用户身体部分和电子装置组件之间的关系建立控制输入,如在105表示。例如并且没有限制,控制输入可以引导计算机程序基于用户手指到游戏控制器的接近度和用户手指向游戏控制器移动的加速度来响应于推动按钮执行动作。在某种加速度和接近度时,用户不可避免推动按钮。同样,神经活动水平的提高可以向计算机程序发出信号从而在用户关注的在显示器上呈现的图像的特别区域诸如人物、物体等上放大。或者,因为用户手指到游戏控制器的接近度和用户手指向游戏控制器移动的加速度降至低于阈值,所以控制输入可以引导计算机程序不执行动作。
在一些实施方案中,控制输入可以包含有可能由用户用一组动作的似然概率分数执行的一组动作。在许多计算机程序应用中,有可能执行的可能动作的数目可以是非常大的。一组减少的可能动作可以由计算机程序基于已测量的神经活动、眼睛凝视方向和手指位置等确定。然后,可以用源自计算机软件/应用、内容等的附加证据做出关于执行哪个可能动作的最终决定。这可以改善估计的输入准确度并使得***更快。
在一些实施方案中,预触摸/预压活动可以由神经信号分析检测并用于为实时网络应用诸如在线游戏减小潜伏期。例如,如果神经信号的特别组合可以与特定用户活动诸如按下控制器上的特定按钮可靠相关,则可能检测到用户将要执行该特定活动例如按下该特定按钮。如果可以在按钮实际按下之前一毫秒检测到按下按钮,则通常由按下按钮触发的网络信息包可以早一毫秒发送。这可以在多用户网络应用中减小潜伏期这一数额。这可以为时间关键的网络应用诸如在网络上玩耍的基于实时在线战斗的游戏极大地改善用户体验。
最终,计算机程序可以使用已建立的控制输入执行动作,如在107表示。例如并且没有限制,该动作可以是在由装置用户控制的计算机程序中的人物/物体的动作。
已测量的神经活动水平、在用户身体部分和电子装置组件之间的已建立的关系以及已确定的控制输入可以反馈到***从而增强性能。当前测量的神经活动水平可以与先前测量的神经活动水平比较,以便确保建立更准确的关系和控制输入。
图2示出根据本发明的实施方案的经配置测量用户身体部分的神经活动水平的电子装置的组件。为了示例而不是限制的目的,电子装置的组件可以是游戏控制器200。然而,经配置测量神经活动水平的电子装置的组件可以是包括鼠标、键盘、摇杆、方向盘或其他接口装置的任何接口装置。此外,在手持计算装置诸如平板计算机或智能电话的情况下可以包括神经传感器。同样,本发明的实施方案不限于涉及游戏控制器或相似接口装置的实施。
游戏控制器200可以包括用于方向性用户输入的方向板201、用于方向性用户输入的两个模拟摇杆205、用于按钮控制用户输入的按钮203、用于握持装置200的把手207、用于附加按钮控制用户输入的第二组按钮209以及用于触发控制用户输入的一个或多个触发器211。例如并且没有限制,用户可以通过将他的手掌缠绕把手207同时用他的拇指控制摇杆205、方向板201和控制按钮203来握持装置。用户可以使用他的食指控制触发器211。
神经传感器213可以放置在游戏控制器200周围,以便当用户操作在电子装置上运行的计算机程序时为用户的某些身体部分测量神经活动水平。在图2中,两个神经传感器213位于摇杆205上,并且两个神经传感器位于把手213上。在摇杆205上的神经传感器213可以用来在用户操作控制器200时测量用户拇指的神经活动水平。在把手207上的神经传感器213可以用来在用户操作控制器200时测量用户手掌的神经活动水平。已确定的神经活动水平可以然后用来确定在用户的已测量身体部分和控制器200之间的关系。例如并且没有限制,在摇杆205上的神经传感器213可以用来确定用户拇指相对于摇杆205的位置、用户拇指向摇杆205移动时的加速度以及用户拇指是否与摇杆205直接物理接触。相似地,在把手207上的神经传感器213可以用来确定用户手掌握住控制器200的力。
尽管仅四个神经传感器203在图2中示出,但重要的是注意任何数目的神经传感器可以放置在控制器200周围任何数目的位置,从而促进基于所涉及应用测量神经活动水平。附加神经传感器可以放置在方向板201、按钮203、209或触发器211上从而测量不同用户身体部分的神经活动水平。
控制器200可以另外包括摄像机215从而帮助促进确定在用户身体部分和控制器200之间的关系。摄像机215可以经配置跟踪手指相对于控制器215的位置或手指的加速度。摄像机提供用来帮助更准确确定在用户身体部分和装置组件之间的关系的补充数据。
图3A示出根据本发明的实施方案的可以经配置测量用户身体部分的神经活动水平的电子装置的可替换组件。图3A示出经配置位于可以放置在用户手指301上的环302周围的无线应力传感器303。无线应力传感器303在计算机程序操作期间通过将由手指引起的电阻与神经活动水平相关来测量手指301的神经活动水平。无线应力传感器303可以与控制器交互从而帮助确定在手指和控制器之间的关系(例如通过在应力传感器和控制器按钮之间生成的磁力)。例如并且没有限制,该关系可以表示在用户手指和控制器之间的距离,或手指在接近控制器时的加速度。
无线应力传感器303可以另外包括可以在用户手指弯曲时激活应力传感器的弹簧元件305。或者,弹簧元件305可以包括测量弹簧元件挠度的内置应力传感器。当由用户手指301施加的压力引起弹簧元件305弯曲时,压力传感器生成与所施加压力成比例的传感器信号。压力传感器信号可以用来估计手指301的精细肌肉运动作为神经活动水平的替代。该弹簧305也可以提供补充信息(例如手指推动控制器上按钮的力)从而促进确定在用户手指和控制器之间的关系。
注意本发明的实施方案包括利用位于除在图3A中描绘的基于环的传感器之外的“可穿戴”物品上的可穿戴神经感测装置的实施。可穿戴神经感测装置的一些其他非限制例子包括结合到可穿戴物品诸如手套或护腕或项链或蓝牙头戴耳机或医用胶布(medical patch)的神经传感器。这样的可穿戴神经感测装置可以用来提供信息从而确定用户是否在与可以仅用户可见但实际上不存在的虚拟用户接***互。例如,用户可以通过使用这些可穿戴神经传感器与投影的或增大的虚拟用户接***互,从而确定用户何时按下虚拟按钮或导引虚拟光标。
图3B示出图3A的环与具有触摸接口307的手持装置306一起使用的例子。装置可以是便携游戏装置、便携互联网装置、蜂窝电话、个人数字助理或相似装置。触摸接口307可以是充当输入装置的触摸板。或者,触摸接口307可以是还充当视觉显示器和输入装置的触摸屏。在任一情况下,触摸接口包括响应于用户在接口上触摸的压力或存在的多个个体触摸传感器309。传感器309的大小和在传感器之间的间距确定触摸接口的分辨率。
一般地,用户必须触摸接口307以便用装置输入命令或执行动作。这在确定用户是否意图触摸接口的特别区域以便避免在不是意图内容时将触摸解释为命令可以是有用的。确定用户触摸意图的能力有时称为“预触摸”。
通过使用环302中的内置压力传感器或通过测量电阻,人们可以估计手指的精细肌肉运动从而估计神经活动。通过使用神经活动、神经活动突发的开始,人们可以估计预触摸动作。
通过在一个或多个手指或手臂的肌肉的不同位置检测神经或肌肉活动,人们可以实施触摸接口307的精细控制。例如并且没有限制,装置306可以包括例如使用源自面向用户的摄像机311的图像回顾用户的脸从而跟踪用户眼睛凝视的摄像机。或者,可以使用向用户投影红外光的红外源与位敏光学检测器(PSD)一起跟踪凝视。源自红外源的红外光可以从用户眼睛的视网膜回射到PSD。通过监控PSD信号,可能确定用户眼睛的定向并由此确定眼睛凝视方向。
跟踪用户眼睛凝视可以用来增强在触摸屏上显示的物体的操纵。例如,通过跟踪用户眼睛凝视,装置306可以定位并选择在显示屏上显示的物体313。拇指和食指神经活动可以被检测并被转换成用来将由眼睛凝视挑选的物体旋转的信号。另外,用户眼睛凝视可以用来为手持装置屏幕的特别区域提高分辨率;例如通过如果用户凝视在某一预定时段落在物体313上,则触发放大显示物体313。也注意凝视跟踪可以应用于投影的或增大的虚拟用户接口,其中凝视跟踪和神经分析的组合可以用来确定用户与虚拟物体的交互。
或者,摄像头311可以观看触摸屏因此用户手指的图像可以经分析确定手指的加速度,并且算出什么按钮将要按下或哪个按钮正在按下。在手指加速度和手指到按钮接近度的某一值时,用户不可避免按下按钮。同样,可能从手指的位置和已测量的神经活动估计在显示器上用户所关注的区域。通过合适编程,装置306可以提高这样的所关注区域的分辨率和/或放大率从而帮助用户。另外,用户的眼睛凝视方向、手指的已测量神经活动和位置都可以组合从而估计用户意图或所关注区域,并且屏幕子部分的分辨率可以因此适配。
有用于结合本发明实施方案的装置的数个不同的可能配置。例如并且没有限制,图4示出示意图,其示出根据本发明的实施方案的用于使用神经分析控制在电子装置上运行的计算机程序的***400。用户401可以与在电子装置405上运行的计算机程序交互。例如并且没有限制,电子装置405可以是视频游戏机。在电子装置405上运行的计算机程序可以是视频游戏,其中用户控制游戏环境中的一个或多个人物/物体。视频游戏机405可以可操作连接到经配置向用户显示游戏环境的视觉显示器413。用户可以然后通过与电子装置405通信的控制器(即装置组件)403控制视频的某些方面。装置控制器可以经配置测量用户401的神经水平活动,如在上面关于图2、图3A和图3B讨论的。
一旦已测量神经水平活动,则必须确定在用户身体部分和电子装置组件之间的关系。如在上面讨论的,控制器可以经配置确定用户手指相对于控制器403的位置/加速度。然而,也可以使用与电子装置关联的其他组件建立附加关系(即用户定向特性),以使所建立的控制输入可以更准确。可以建立的一个用户定向特性是用户眼睛凝视方向。用户眼睛凝视方向指代在与程序交互期间用户眼睛指向的方向。在许多状况下,用户可以在与程序交互期间以可预测方式使眼睛与视觉显示器联系。例如在视频游戏的情况下这是非常普遍的。在这样的状况下,跟踪用户眼睛凝视方向可以帮助为控制视频游戏建立更准确的控制输入。获得用户眼睛凝视方向的一种方式涉及一副眼镜409和摄像机407。眼镜409可以包括红外光传感器。摄像机407然后经配置捕捉从眼镜409发射的红外光路并然后从获得的信息三角测量用户眼睛凝视方向。尽管技术上该配置主要提供关于用户头部姿势的信息,但如果眼镜409的位置相对于其在用户脸部上的位置没有显著变化并且因为用户脸部通常根据他的眼睛凝视方向移动,则该设置可以提供用户眼睛凝视方向的良好估计。对于更详细的眼睛凝视跟踪,可能确定眼睛瞳孔相对于眼睛巩膜(白色部分)的位置。这样的跟踪可以怎样实施的例子例如由Yoshio Matsumoto和Alexander Zelinsky在第四届IEEE自动脸部和手势识别国际会议的FG '00论文集,2000,pp499-505中的“An Algorithm for Real-time StereoVision Implementation of Head Pose and Gaze Direction Measurement”中描述,其全部内容通过引用并入本文。
或者,用户眼睛凝视方向可以使用具有红外传感器的头戴耳机411获得。头戴耳机可以经配置促进在用户和视觉显示器413上计算机程序之间的交互。与眼镜的配置非常相似,摄像机407可以捕捉从头戴耳机411发射的红外光并然后从获得的信息三角测量用户头部倾角。如果头戴耳机411的位置相对于其在用户脸部上的位置没有显著变化,并且如果用户脸部一般根据他的眼睛凝视方向移动,则该设置将提供用户眼睛凝视方向的良好估计。
重要的是注意除眼睛凝视方向之外的各种用户定向特性可以与神经分析组合从而为计算机程序建立控制输入。
图5示出计算机设备的框图,该计算机设备可以用来实施根据本发明的实施方案的使用神经分析控制电子装置的方法。设备500一般可以包括处理器模块501和存储器505。处理器模块501可以包括一个或多个处理器核心。使用多个处理器模块的处理***的例子是Cell处理器,其例子例如在
http://www-306.ibm.com/chips/techlib/techlib.nsf/techdocs/1AEEE1270EA2776387357060006E61BA/$file/CBEA_01_pub.pdf在线可获得的Cell Broadband Engine Architecture中详细描述,该文档通过引用并入本文。注意可以使用其他多核处理器模块或单核处理器模块。
存储器505可以为集成电路形式,例如RAM、DRAM、ROM等。存储器505也可以是可由全部处理器模块访问的主存储器。在一些实施方案中,处理器模块501可以具有与每个核心关联的本地存储器。程序503可以用可以在处理器模块上执行的处理器可读指令的形式存储在主存储器505中。程序503可以经配置使用神经分析控制装置500。程序503可以用任何合适的处理器可读语言例如C、C++、JAVA、汇编、MATLAB、FORTRAN和数种其他语言写入。输入数据507也可以存储在存储器中。这样的输入数据507可以包括已测量的神经活动水平、在用户身体部分和电子装置之间的确定关系以及控制输入。在程序503执行期间,程序代码和/或数据的部分可以加载到存储器或处理器核心的本地存储以便由多个处理器核心并行处理。
注意本发明的实施方案不限于装置由在存储器中存储的程序控制的实施。在可替换实施方案中,可以实现等效功能,其中处理器模块501包括接收神经活动信号并且响应于神经活动运作的专用集成电路(ASIC)。
设备500也可以包括众所周知的支持功能模块509,诸如输入/输出(I/O)元件511、电源(P/S)513、时钟(CLK)515和高速缓冲存储器517。设备500可以可选地包括大容量存储装置519诸如磁盘驱动器、CD-ROM驱动器、磁带驱动器等从而存储程序和/或数据。装置500可以可选地包括显示单元521和用户接口单元525从而促进在设备500和用户之间的交互。显示单元521可以为显示文本、数字、图形符号或图像的阴极射线管(CRT)或平板屏幕的形式。用户接口525可以包括键盘、鼠标、摇杆、光笔或可以与图形用户接口(GUI)一起使用的其他装置。设备500也可以包括网络接口523从而使得装置能够经由网络诸如互联网与其他装置通信。
一个或多个神经传感器533可以经无线或有线连接经I/O元件511连接到处理器模块501。如上面提到的,这些神经传感器533可以经配置检测装置500用户的身体部分的神经活动水平以便促进控制装置500。
在一些实施方案中,***可以包括可选的摄像机529。摄像机529可以经I/O元件511连接到处理器模块501。如上面提到的,摄像机529可以经配置跟踪装置500用户的某些定向特性以便补充神经分析。
在一些其他实施方案中,***也可以包括可以是单个麦克风或麦克风阵列的可选的麦克风531。麦克风531可以经I/O元件511耦合到处理器501。如上面讨论的,麦克风531可以经配置跟踪装置500用户的某些定向特性以便补充神经分析。
包括处理器501、存储器505、支持功能模块509、大容量存储装置519、用户接口525、网络接口523和显示器521的***500的组件可以经一条或多条数据总线527可操作地相互连接。这些组件可以在硬件、软件、固件或这些的两个或更多个的某种组合中实施。
根据另一实施方案,用于使用神经分析控制装置的指令可以存储在计算机可读存储介质中。例如并且没有限制,图6示出根据本发明的实施方案的非暂时性计算机可读存储介质600的例子。存储介质600含有以可以由计算机处理装置检索、解释并执行的格式存储的计算机可读指令。例如并且没有限制,计算机可读存储介质600可以是计算机可读存储器(诸如随机存取存储器(RAM)或只读存储器(ROM))、用于固定磁盘驱动器(例如硬盘驱动器)或可移动磁盘驱动器的计算机可读存储磁盘。另外,计算机可读存储介质600可以是闪存存储器装置、计算机可读磁带、CD-ROM、DVD-ROM、蓝光、HD-DVD、UMD或其他光存储介质。
存储介质600含有用于使用神经分析控制电子装置的指令601,该指令601经配置使用用户的神经分析控制电子装置的方面。使用神经分析控制电子装置指令601可以经配置根据上面关于图1描述的方法使用神经分析实施电子装置的控制。特别地,使用神经分析控制电子装置指令601可以包括测量神经水平活动指令603,该指令603用来测量使用装置的用户的身体部分的神经水平活动。神经水平活动的测量可以使用上述实施中的任何执行。
使用神经分析控制电子装置指令601也可以包括确定在用户和装置之间关系指令605,该指令605用来确定在用户的已测量身体部分和装置之间的关系。该关系可以包括用户身体部分相对于装置行进的速度、用户身体部分相对于装置的行进方向或用户身体部分相对于装置的位置,如在上面讨论的。
使用神经分析控制电子装置指令601可以进一步包括建立控制输入指令607,该指令607用来基于在用户的已测量身体部分和装置之间建立的关系为装置建立控制输入。控制输入可以指示装置执行动作或保持空闲,或可以由装置使用以确定有可能执行的一组动作,如在上面讨论的。
使用神经分析控制电子装置指令601可以进一步包括用装置执行动作指令609,该指令609用来根据通过神经分析建立的控制输入用装置执行动作。这样的动作可以包括在上面关于图1讨论的那些动作。
尽管上面是本发明的优选实施方案的完整描述,但可能使用各种替换、修改和等效。因此,本发明的范围不应参考上面描述确定,但代替地应参考所附权利要求及其等效的全部范围确定。本文描述的任何特征(无论是否优选)都可以与本文描述的任何其他特征(无论是否优选)组合。在以下权利要求中,不定冠词“一个(A/An)”指代在该冠词后面项目的一个或多个的量,除其中以其他方式明白陈述之外。所附权利要求不解释为包括手段加功能限制,除非这样的限制在使用短语“用于……的手段”的给定权利要求中被明确接受。

Claims (21)

1.一种使用神经分析控制电子装置的方法,其包括:
a)使用与所述电子装置关联的一个或多个神经传感器为所述装置的用户的一个或多个身体部分测量神经活动水平;
b)使用在a)中确定的每个神经活动水平,确定在所述用户的一个或多个身体部分和通过所述用户与所述电子装置的一个或多个组件的意图交互之间的关系,其中所述一个或多个组件是与所述电子装置相关联的实际的组件;以及
c)基于在b)中确定的所述关系为所述电子装置建立控制输入或一组减少的可能动作。
2.根据权利要求1所述的方法,其中在a)中的所述一个或多个神经传感器位于所述电子装置的一个或多个组件上。
3.根据权利要求2所述的方法,其中所述电子装置的所述一个或多个组件位于所述用户上。
4.根据权利要求3所述的方法,其中所述电子装置的位于所述用户上的所述一个或多个组件包括位于经配置由所述用户穿戴的物品上的无线应力传感器。
5.根据权利要求4所述的方法,其中所述无线应力传感器包括压力传感器。
6.根据权利要求1所述的方法,其中在b)中确定在所述用户的一个或多个身体部分和所述意图交互之间的关系还包括使用所述用户的一个或多个定向特性。
7.根据权利要求6所述的方法,其中所述一个或多个定向特性包括所述用户的头部定向和眼睛凝视方向。
8.根据权利要求1所述的方法,其中在c)中为所述电子装置建立控制输入还包括使用与所述电子装置的使用关联的所述用户的过去神经活动的历史。
9.根据权利要求1所述的方法,还包括使用在c)中建立的所述控制输入用所述电子装置执行动作。
10.根据权利要求1所述的方法,其中c)包括基于在b)中确定的所述关系为所述电子装置建立一组减少的可能动作、接收附加信息以及基于所述附加信息从所述组减少的可能动作执行最终决定。
11.根据权利要求1所述的方法,其中b)包括将所述用户的一个或多个身体部分的神经活动水平与特定用户活动相关从而检测到所述用户将要执行所述特定活动以及在动作通常由所述特定活动触发之前用所述装置采取所述动作。
12.一种电子装置,其包括:
一个或多个神经传感器;
可操作地耦合到所述一个或多个神经传感器的处理器;以及
可由所述处理器执行的指令,所述指令经配置:
a)使用所述一个或多个神经传感器为所述电子装置的计算机程序的用户的一个或多个身体部分测量神经活动水平;
b)使用在a)中确定的每个神经活动水平,确定在所述用户的一个或多个身体部分和通过所述用户与所述电子装置的一个或多个组件的意图交互之间的关系,其中所述一个或多个组件是与所述电子装置相关联的实际的组件;以及
c)基于在b)中确定的所述关系为所述电子装置建立控制输入或一组减少的可能动作。
13.根据权利要求12所述的装置,其中在a)中的所述一个或多个神经传感器位于所述电子装置的一个或多个组件上。
14.根据权利要求13所述的装置,其中所述电子装置的所述一个或多个组件经配置位于所述用户上。
15.根据权利要求14所述的装置,其中所述电子装置的所述一个或多个组件包括位于经配置适合所述用户的手指的环上的无线应力传感器。
16.根据权利要求15所述的装置,其中所述无线应力传感器包括压力传感器。
17.根据权利要求12所述的装置,其中确定在所述用户的一个或多个身体部分和通过所述用户与所述电子装置的一个或多个组件的所述意图交互之间的所述关系使用所述用户的一个或多个定向特性。
18.根据权利要求17所述的装置,其中所述一个或多个定向特性包括所述用户的头部定向和眼睛凝视方向。
19.根据权利要求12所述的装置,其中为所述电子装置建立控制输入包括使用与所述电子装置的使用关联的所述用户的过去神经活动的历史。
20.根据权利要求12所述的装置,其中所述处理器经配置基于在b)中确定的所述关系建立一组减少的可能动作、接收附加信息以及基于所述附加信息从所述组减少的可能动作执行最终决定。
21.根据权利要求12所述的装置,其中所述处理器经配置将所述用户的一个或多个身体部分的神经活动水平与特定用户活动相关从而检测到所述用户将要执行所述特定活动以及在动作通常由所述特定活动触发之前用所述装置采取所述动作。
CN201280019135.1A 2011-04-19 2012-03-29 使用神经分析的电子装置的控制 Active CN104023802B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/090,207 2011-04-19
US13/090,207 US20120268359A1 (en) 2011-04-19 2011-04-19 Control of electronic device using nerve analysis
PCT/US2012/031273 WO2012145142A2 (en) 2011-04-19 2012-03-29 Control of electronic device using nerve analysis

Publications (2)

Publication Number Publication Date
CN104023802A CN104023802A (zh) 2014-09-03
CN104023802B true CN104023802B (zh) 2016-11-09

Family

ID=47020911

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280019135.1A Active CN104023802B (zh) 2011-04-19 2012-03-29 使用神经分析的电子装置的控制

Country Status (3)

Country Link
US (1) US20120268359A1 (zh)
CN (1) CN104023802B (zh)
WO (1) WO2012145142A2 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8938100B2 (en) 2011-10-28 2015-01-20 Intellectual Ventures Fund 83 Llc Image recomposition from face detection and facial features
US9025836B2 (en) 2011-10-28 2015-05-05 Intellectual Ventures Fund 83 Llc Image recomposition from face detection and facial features
US9008436B2 (en) * 2011-10-28 2015-04-14 Intellectual Ventures Fund 83 Llc Image recomposition from face detection and facial features
KR101922589B1 (ko) * 2012-02-15 2018-11-27 삼성전자주식회사 디스플레이장치 및 그 시선추적방법
US9423870B2 (en) * 2012-05-08 2016-08-23 Google Inc. Input determination method
US20140368508A1 (en) * 2013-06-18 2014-12-18 Nvidia Corporation Enhancement of a portion of video data rendered on a display unit associated with a data processing device based on tracking movement of an eye of a user thereof
US10127927B2 (en) 2014-07-28 2018-11-13 Sony Interactive Entertainment Inc. Emotional speech processing
CN106687182A (zh) * 2014-11-21 2017-05-17 Vr移动地面有限责任公司 用于与虚拟现实***进行交互的移动地板及其使用
US10650621B1 (en) 2016-09-13 2020-05-12 Iocurrents, Inc. Interfacing with a vehicular controller area network
US10088902B2 (en) 2016-11-01 2018-10-02 Oculus Vr, Llc Fiducial rings in virtual reality
TWI734024B (zh) * 2018-08-28 2021-07-21 財團法人工業技術研究院 指向判斷系統以及指向判斷方法
WO2022046498A1 (en) * 2020-08-28 2022-03-03 Sterling Labs Llc Detecting user-to-object contacts using physiological data

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6731307B1 (en) * 2000-10-30 2004-05-04 Koninklije Philips Electronics N.V. User interface/entertainment device that simulates personal interaction and responds to user's mental state and/or personality
CN101677774A (zh) * 2007-01-22 2010-03-24 纽罗斯凯公司 基于脑波信号处理***定量评估精神状态的方法和设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001004864A1 (en) * 1999-07-09 2001-01-18 The Government Of The United States As Represented By The Administrator Of The National Aeronautics And Space Administration (Nasa) Method and apparatus for encouraging physiological self-regulation through modulation of an operators control input to a video game or training simulator
US20050282633A1 (en) * 2001-11-13 2005-12-22 Frederic Nicolas Movement-sensing apparatus for software
US7331870B2 (en) * 2003-05-16 2008-02-19 Healing Rhythms, Llc Multiplayer biofeedback interactive gaming environment
KR100594117B1 (ko) * 2004-09-20 2006-06-28 삼성전자주식회사 Hmd 정보 단말기에서 생체 신호를 이용하여 키를입력하는 장치 및 방법
KR100680023B1 (ko) * 2004-12-06 2007-02-07 한국전자통신연구원 생체신호를 이용한 착용형 휴대폰 입력 장치 및 그 제어방법
US8581856B2 (en) * 2009-05-27 2013-11-12 Microsoft Corporation Touch sensitive display apparatus using sensor input

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6731307B1 (en) * 2000-10-30 2004-05-04 Koninklije Philips Electronics N.V. User interface/entertainment device that simulates personal interaction and responds to user's mental state and/or personality
CN101677774A (zh) * 2007-01-22 2010-03-24 纽罗斯凯公司 基于脑波信号处理***定量评估精神状态的方法和设备

Also Published As

Publication number Publication date
WO2012145142A2 (en) 2012-10-26
US20120268359A1 (en) 2012-10-25
CN104023802A (zh) 2014-09-03
WO2012145142A3 (en) 2014-05-01

Similar Documents

Publication Publication Date Title
CN104023802B (zh) 使用神经分析的电子装置的控制
CN106796452B (zh) 头戴式显示装置及其控制方法、计算机可读介质
US10254844B2 (en) Systems, methods, apparatuses, computer readable medium for controlling electronic devices
US9377859B2 (en) Enhanced detection of circular engagement gesture
EP3520867B1 (en) Application processing system, method of processing application, and storage medium storing program for processing application
CN106471442A (zh) 可穿戴装置的用户界面控制
US12011665B2 (en) Game processing system, method of processing game, and storage medium storing program for processing game
WO2021073743A1 (en) Determining user input based on hand gestures and eye tracking
US10860104B2 (en) Augmented reality controllers and related methods
KR20190122559A (ko) 증강 또는 가상 현실 환경들에 대한 동적 햅틱 재생을 제공하기 위한 시스템들 및 방법들
KR20130101395A (ko) 실감 인터랙션을 이용한 인지재활 시스템 및 방법
CN108829239A (zh) 终端的控制方法、装置及终端
JP4982279B2 (ja) 学習支援装置および学習支援方法
CN108089710A (zh) 一种电子设备控制方法、装置及电子设备
WO2023036810A1 (en) Method for detecting user input to a breath input configured user interface
US11995235B2 (en) Human interface system
JP6689889B2 (ja) 情報処理方法、情報処理装置及びプログラム
US12019808B2 (en) Inertial sensing of tongue gestures
US11998798B2 (en) Virtual guided fitness routines for augmented reality experiences
US20230214064A1 (en) Adaptive user interfaces for wearable devices
Gil WearPut: Designing Dexterous Wearable Input based on the Characteristics of Human Finger Motions
KR20230132663A (ko) 운동관련뇌전위 및 가상현실 시뮬레이션을 이용한 뇌졸중 재활치료 시스템 및 방법
CN115857700A (zh) 虚拟交互***、方法、装置、设备、存储介质及程序产品
AU2022293326A1 (en) Virtual reality techniques for characterizing visual capabilities
CN117133045A (zh) 手势识别方法、装置、设备及介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant