CN113220117A - 一种用于人-计算机交互的装置 - Google Patents
一种用于人-计算机交互的装置 Download PDFInfo
- Publication number
- CN113220117A CN113220117A CN202110422897.7A CN202110422897A CN113220117A CN 113220117 A CN113220117 A CN 113220117A CN 202110422897 A CN202110422897 A CN 202110422897A CN 113220117 A CN113220117 A CN 113220117A
- Authority
- CN
- China
- Prior art keywords
- user
- human
- computer interaction
- tactile
- signals
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 71
- 230000033001 locomotion Effects 0.000 claims abstract description 69
- 230000009471 action Effects 0.000 claims abstract description 42
- 230000000007 visual effect Effects 0.000 claims abstract description 30
- 230000035807 sensation Effects 0.000 claims abstract description 11
- 230000003190 augmentative effect Effects 0.000 claims description 26
- 230000001537 neural effect Effects 0.000 claims description 24
- 230000000763 evoking effect Effects 0.000 claims description 20
- 210000004556 brain Anatomy 0.000 claims description 17
- 238000013179 statistical model Methods 0.000 claims description 15
- 230000033764 rhythmic process Effects 0.000 claims description 11
- 230000000638 stimulation Effects 0.000 claims description 9
- 238000002604 ultrasonography Methods 0.000 claims description 9
- 230000001054 cortical effect Effects 0.000 claims description 5
- 230000001953 sensory effect Effects 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 5
- 238000012544 monitoring process Methods 0.000 claims description 4
- 230000008878 coupling Effects 0.000 claims description 3
- 238000010168 coupling process Methods 0.000 claims description 3
- 238000005859 coupling reaction Methods 0.000 claims description 3
- 230000005674 electromagnetic induction Effects 0.000 claims description 3
- 230000004424 eye movement Effects 0.000 claims description 3
- 230000001939 inductive effect Effects 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 description 16
- 230000008859 change Effects 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 11
- 239000000463 material Substances 0.000 description 9
- 210000003205 muscle Anatomy 0.000 description 9
- 230000005855 radiation Effects 0.000 description 9
- 210000000245 forearm Anatomy 0.000 description 8
- 230000002232 neuromuscular Effects 0.000 description 8
- 238000000034 method Methods 0.000 description 7
- 210000001503 joint Anatomy 0.000 description 6
- 238000004088 simulation Methods 0.000 description 6
- 229910021389 graphene Inorganic materials 0.000 description 5
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 4
- 230000007177 brain activity Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 210000002310 elbow joint Anatomy 0.000 description 4
- 230000005611 electricity Effects 0.000 description 4
- 238000002567 electromyography Methods 0.000 description 4
- 230000002787 reinforcement Effects 0.000 description 4
- 210000000323 shoulder joint Anatomy 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 210000001508 eye Anatomy 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 239000000758 substrate Substances 0.000 description 3
- 101150013568 US16 gene Proteins 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 230000037007 arousal Effects 0.000 description 2
- 210000003403 autonomic nervous system Anatomy 0.000 description 2
- 230000001149 cognitive effect Effects 0.000 description 2
- 230000009849 deactivation Effects 0.000 description 2
- 210000004247 hand Anatomy 0.000 description 2
- 210000004394 hip joint Anatomy 0.000 description 2
- 210000000629 knee joint Anatomy 0.000 description 2
- 210000002414 leg Anatomy 0.000 description 2
- 210000003041 ligament Anatomy 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 239000002159 nanocrystal Substances 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- CXQXSVUQTKDNFP-UHFFFAOYSA-N octamethyltrisiloxane Chemical group C[Si](C)(C)O[Si](C)(C)O[Si](C)(C)C CXQXSVUQTKDNFP-UHFFFAOYSA-N 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000029058 respiratory gaseous exchange Effects 0.000 description 2
- 210000004761 scalp Anatomy 0.000 description 2
- 231100000430 skin reaction Toxicity 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 210000000106 sweat gland Anatomy 0.000 description 2
- 230000000946 synaptic effect Effects 0.000 description 2
- 210000002435 tendon Anatomy 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000001052 transient effect Effects 0.000 description 2
- 210000000623 ulna Anatomy 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- 206010033799 Paralysis Diseases 0.000 description 1
- 208000018737 Parkinson disease Diseases 0.000 description 1
- -1 Polymethylsiloxane Polymers 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 239000004205 dimethyl polysiloxane Substances 0.000 description 1
- 235000013870 dimethyl polysiloxane Nutrition 0.000 description 1
- 206010015037 epilepsy Diseases 0.000 description 1
- 229920005570 flexible polymer Polymers 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000037361 pathway Effects 0.000 description 1
- 210000000578 peripheral nerve Anatomy 0.000 description 1
- 238000004987 plasma desorption mass spectroscopy Methods 0.000 description 1
- 229920000435 poly(dimethylsiloxane) Polymers 0.000 description 1
- 239000002861 polymer material Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Dermatology (AREA)
- General Health & Medical Sciences (AREA)
- Neurology (AREA)
- Neurosurgery (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种用于人‑计算机交互的装置。该装置包括显示器、位置传感器和触觉交互装置。触觉交互装置包括可穿戴设备和处理器。处理器操作耦合到可穿戴设备，并配置为：接收来自位置传感器的身体运动信号；通过控制界面和/或触觉交互装置向用户呈现视觉和/或触觉之刺激，刺激包括与动作集合相关联的控制项集合；基于身体运动信号来确定用户的焦点，该焦点与控制项集合中的至少一个控制项相关联；基于焦点和至少一个控制项，确定用户在现实和/或虚拟现实中意图的动作；以及通过控制界面和/或触觉交互装置向用户反馈在现实和/或虚拟现实中实现用户意图的动作相应的视觉和/或触觉之刺激。
Description
技术领域
本发明涉及人-计算机交互领域，尤其涉及一种用于人-计算机交互的装置及其方法。
背景技术
虚拟/增强现实***被认为是继智能手机之后下一个能够改变人们生活方式的消费类电子产品。虚拟/增强现实***通常包括用于显示虚拟/增强现实环境的显示设备，用于驱动显示设备的处理器，用于存储要在显示设备上显示的信息的存储器以及用于控制用户在虚拟/增强现实中的运动的输入设备。由于虚拟/增强现实***通常旨在为用户提供身临其境的环境，因此虚拟/增强现实***的组件通常可以容纳在位于用户头部并随用户移动的外壳中，例如头戴式设备，输入设备可能是头戴式设备中的一个或多个陀螺仪和/或加速度测量仪。MAGIC LEAP INC的美国专利US20200265650A1(US16/814975)公开了一种向用户呈现3D的虚拟现实和增强现实体验的头戴式装置***，该***包括：图像生成源，其按照时序方式提供图像数据的一个或多个帧；光调制器，其被配置为发射与所述图像数据的一个或多个帧关联的光；基片，其将图像信息导向用户的眼睛，其中所述基片容纳多个反射器；所述多个反射器中的第一反射器，其以第一角度将与图像数据的第一帧关联的发射光反射到所述用户的眼睛；以及第二反射器，其以第二角度将与所述图像数据的第二帧关联的发射光反射到所述用户的眼睛。
另一方面，脑机接口(Brain-Computer-Interface，BCI)是近年来发展起来的一种新型人机接口，它允许大脑活动单独利用连线的大脑与外部设备之间的直接通信路径来控制计算机或外部设备。第一次BCI国际会议给出的BCI的定义是：″脑-计算机接口(Brain－Computer－Interface)是一种不依赖于正常的由***神经和肌肉组成的输出通路的通讯***”。脑－机接口技术利用脑电信号实现人脑与计算机或其他电子设备的通讯和控制，是一种全新的人机接口方式。该技术使人类利用脑电信号与计算机或其它装置进行通讯成为了可能，它为人的大脑开辟了一条全新的与外界进行信息交流和控制的途径。BCI技术可用于瘫痪病人的诊疗设备，或针对大脑状况的研究，如帕金森症或癫痫。BCI技术的潜在应用包括：游戏控制接口、机器人控制以及远程医疗等。NEURABLE INC的美国专利US20200268296A1(US16/872730)公开了一种大脑-计算机接口集成了实时眼睛运动跟踪与大脑活动跟踪，以呈现和更新被策略性地设计用于人机交互的高速和精度的用户界面。该专利还涉及具有特定用户界面适配以使得能够对应用和/或机器进行高速、直观和准确的用户操纵的硬件不可知的大脑-计算机接口的实现。但是，BCI技术所接收的大脑神经信号极为复杂，目前距离精确操控尚有很长的距离，而理论上的意识读写就更为困难。
因此，一种能够结合触觉实现人-计算机交互的装置提供更为可控的虚拟/增强现实***是值得期待的。
发明内容
本发明主要解决的技术问题是提供一种人-计算机交互的装置，其可以通过用户的身体运动信号判断用户在增强现实和/或虚拟现实中意图的动作，并分别通过触觉交互装置和显示器向用户反馈在增强现实和/或虚拟现实中实现用户意图的动作相应的触觉和视觉之刺激。用户的身体运动信号可以与眼球运动信号、神经信号结合分析并对照判断，提升对用户在增强现实和/或虚拟现实中意图的动作判断的准确性。
为解决上述技术问题，本发明采用的一个技术方案是提供一种用于人-计算机交互的装置，其包括：
显示器，配置为向用户显示控制界面；
位置传感器，用于监控用户的移动；
触觉交互装置，用于与显示器和位置传感器进行操作耦合，所述触觉交互装置包括：
可穿戴设备，用于产生触觉；以及
处理器；
其中，所述处理器操作耦合到可穿戴设备，并配置为：
接收来自位置传感器的身体运动信号；
通过控制界面和/或触觉交互装置向用户呈现视觉和/或触觉之刺激，所述刺激包括与动作集合相关联的控制项集合；
基于身体运动信号来确定用户的焦点，该焦点与控制项集合中的至少一个控制项相关联；
基于所述焦点和所述至少一个控制项，确定用户在现实和/或虚拟现实中意图的动作；以及通过控制界面和/或触觉交互装置向用户反馈在现实和/或虚拟现实中实现用户意图的动作相应的视觉和/或触觉之刺激。所述触觉之刺激至少包括超声波在用户皮肤产生的压力。用户可以通过皮肤感觉到的触觉之刺激，例如但不限于：触觉/压力图案，振动，温度，风/气流，湿度变化等。
基于上述装置的人-计算机交互***包括通过界面的刺激显示、用于记录和处理用户移动的位置传感器、用于向用户传递和反馈触觉之刺激的可穿戴设备、以及用于实行对界面的控制的装置，对界面的控制可以转化为对用户环境的控制。这些标准特征可以表征为(1)指向控制特征、(2)动作控制特征和(3)UI特征。指向控制特征可以类似于常规的指向设备，如鼠标指针，它允许用户缩小到一小组一个或多个操纵器以进行控制。动作控制特征可以类似于选择设备，例如鼠标单击或键盘上的击键，它允许用户实现动作以实行对UI的改变以及进而对连接的机器的改变。人-计算机交互***中的UI特征可以类似于操作***，它创建并维护实现指向控制特征和动作控制特征的环境，以及如提供选择菜单、导航控件等其它特征。
由动作控制特征执行的动作可以是许多动作之一，并且可以被适配以适合被设计为控制各种设备或机器的UI的各种版本。仅举几例，动作可以是激活或去激活、UI的连续或半连续改变(例如，滚动、悬停、捏合、缩放、倾斜、旋转、滑动等)。动作还可以通过离散的开始和停止(例如，突出显示等)对UI进行剧烈改变。经由UI的动作控制的其它一些示例可以包括虚拟键盘控制、菜单导航、用于放置和取消放置物体或项的动作、移动物体或项的动作、扩展和/或缩小物体、第一人称观察者或玩家的移动或导航、改变观察者的视角以及如抓取、拾取或悬停之类的动作。
在一个优选实施例中，通过控制界面和/或触觉交互装置向用户呈现视觉和/或触觉之刺激的步骤包括：向预训练的统计模型提供身体运动信号作为输入；
基于预训练的统计模型的输出确定用户身体在增强现实和/或虚拟现实中的空间关系信息；
根据空间关系信息确定向用户呈现视觉和/或触觉之刺激。
预训练的统计模型包括人的肌肉-骨骼***的模拟。人的肌肉-骨骼***可以模拟成多节铰接刚体***(multiple segmentarticulated rigid body system)，其中，关节形成不同区段之间的界面，以及关节角度限定模型中连接区段之间的空间关系。关节处的运动约束由连接各区段的关节的类型和限制关节处运动范围的生物结构(例如，肌肉、肌腱、韧带)决定。例如，将上臂连接到躯干的肩关节和将上腿连接到躯干的髋关节是球窝关节，其允许伸展和弯曲运动以及旋转运动。相比之下，连接上臂和前臂的肘关节以及连接上腿和下腿的膝关节允许的运动范围更受限。如本文所述，多节铰接刚体***用于模拟人类肌肉-骨骼***。然而，应当理解，人体肌肉-骨骼***的一些区段(例如，前臂)虽然近似为多节铰接刚体***中的刚体，但可以包括多个刚性结构(例如，前臂的尺骨和桡骨)，该多个刚性结构提供了区段内的更复杂的运动，这明显没有被刚体模型考虑。因此，与本文描述的技术的一些实施例一起使用的铰接刚体***的模型可以包括表示不是严格刚体的身体部位的组合的区段。
在运动学中，刚体是表现出各种运动属性(例如，位置、方向、角速度、加速度)的物体。已知刚体的一区段的运动属性能够基于区段如何连接的约束来确定刚体的其他区段的运动属性。例如，手臂可以被建模为两区段铰接刚体，其上部对应于在肩关节处连接到身体的躯干的上臂并且下部对应于前臂，其中，两区段在肘关节处连接。作为另一个例子，手可以被建模为多区段铰接体，其中，手腕中的关节和每个手指形成模型中多个区段之间的界面。在一些实施例中，刚体模型中区段的运动可以被模拟为多节铰接刚体***，其中，使用预训练的统计模型预测模型中一区段相对于其他段的方向和位置信息。
预训练的统计模型还包括对用户身体所在增强现实和/或虚拟现实的模拟。对用户身体所在增强现实和/或虚拟现实的模拟可通过宽带网络获取；或者处理器加载从针对普通人群的大量成员或大量预期用户(例如，预期使用用于人-计算机交互的装置的普通人群的成员)的训练中导出的初步模型；或者处理器根据用于人-计算机交互的装置的传感器(例如摄像头)获取的图像信息构建的空间模型。
在一个优选实施例中，所述可穿戴设备包括多个超声换能器，所述超声换能器配置为以超声波频率在空中生成预定分布的非表面压力模式，以便人类皮肤可以检测到。
目前各种智能手机或者智能眼镜没有使用交互式触觉技术，其通常结合在交互式屏幕上显示的视觉信息来向一个或多个用户提供视觉信息或反馈，或者通过触摸屏的电容或者电压信号变化接收用户的触摸位置信息，但是无法通过触摸屏向用户反馈或者模拟虚拟/增强现实中触觉。因此，没有使用交互式触觉技术的电子设备降低了用户与***交互的可用性和自发性。
根据超声波的物理特性，超声波在压力之下会产生形状的改变，并且模拟出一种虚构的形状和力度，而这种压力则被称作″声辐射力”(Acoustic radiation force)。正是这种声辐射力让我们的皮肤产生了触觉。
假设超声波是一个平面波，则超声波在空间中产生的辐射压为：
其中，P是超声波的均方根声压(单位：Pa)，E是超声波的能量密度(单位：J/m3),I是超声波的强度(单位：W/m2)，c是超声波的传播速度(单位：m/s)，α是一个介于1和2之间的常数，其数值的大小取决于物体表面的反射系数R，且α≡1+R2。当α＝2时，表示物体表面完全反射入射的超声波；当α＝1时，表示入射超声波完全被物体吸收。人体皮肤的反射系数0.9995，也就是说入射超声波接触到人体皮肤后，99.9％的超声波都被反射回去，因此能够产生相对较强的辐射压。
超声波发射器发射的超声波可以在一定空间内产生声压P，单个超声换能器提供的声压不足以对用户提供触觉反馈，但当超声换能器的数量增多时，通过控制各个发射器的发射时延差，使各个发射器发出的超声波信号同时到达空间中某一点，声压在空间中某一点进行叠加而产生聚焦，声压叠加到一定程度就能够对用户产生触觉反馈。
超声波聚焦原理是通过多个超声波发射器所发射的超声波在聚焦点叠加来实现聚焦。通过控制各个超声波发射器发射的时间，来控制各个超声波发射器发射的超声波的相位，从而使得每个超声波发射器发出的超声波在到达空间中某一点时具有相同的相位，就可以在该点叠加增强，在该点外的空间由于相位不同则产生叠加减弱甚至抵消，该点即为聚焦点。通过使用相可控的超声换能器阵列在空中的目标上施加声辐射力，可以在人的皮肤上的聚焦点产生触感。超声波由换能器传输，每个换能器发出的相位都经过调整，以使这些波同时到达目标点，以使施加的声辐射力最大化。
根据权利要求1所述的用于人-计算机交互的装置，其特征在于，所述可穿戴设备包括多个微型电极，通过调节所述微型电极的表面电势、温度和湿度至少之一的参数以生成预定分布的触觉之所述刺激，以便人类皮肤可以检测到。
皮肤是人体最大的器官，可以觉察力学和热学等信号并传递给大脑。多个微型电极，其为柔性聚合物材料或者凝胶材料，构成人造电子皮肤，其具有多种皮肤的特性，例如可拉伸性、自我修复能力、高韧性和触觉感应能力等。这些人造电子皮肤本质是各种类型的传感器。具备感知的人造电子皮肤不仅可以应用于软机器人和人造假肢领域实现感知外界信息和进一步操纵物体的能力，还可用于检测人体运动以及生命体征(如心率，呼吸和体温)，以进行健康监测。人造电子皮肤通常还具有类似皮肤的柔韧性和弹性。
多个微型电极，通过调节所述微型电极的表面电势、温度和湿度至少之一的参数以生成预定分布的触觉之所述刺激，用来模拟给定物体和用户皮肤之间的接触，从而用户皮肤可以感知、访问与其交互的给定物体的数据(例如，物体的三维形状、特征等)。这些接触行为同时以图像的形式通过显示器呈现给用户，接触行为的图像显示了用户与虚拟/增强现实中给定物体的接触状态和程度。
本发明的微型电极包括二维材料和纳米晶体材料层层叠加的结构实现三种不同的功能：湿度、温度和压力测试。例如，Dong Hae Ho等人开发了可拉伸的全石墨烯人造电子皮肤(Stretchable and nultimodal all graphene electronic skin.AdvancedMaterials,2016,28(13):2601-2608.)。石墨烯作为电极以及三种传感器的连接部分，氧化石墨烯(GO)和rGO分别用作湿度和温度传感器。聚甲基硅氧烷(PDMS)在其中充当了基底和不同传感器的隔离层的功能。两块石墨烯电极与PDMS充当电容型压力传感器。通过这种集成的方法，整个电子皮肤就能监测各种日常生活中的刺激(比如体表温度、呼吸和手指触碰)。其中的单个传感器又呈现比较简单的性能：只对某种特殊刺激有响应而不会对其他刺激响应。利用这种器件架构制备多功能电子皮肤不仅避免单独制备多种材料，器件集成方式也不会太过复杂。
本发明的微型电极也可以用于皮肤电反应(GSR)(也称为皮肤电活动(EDA)和皮肤电导率(SC))传感器测量用户的皮肤的电特性的改变，诸如，由出汗引起的电导率的改变。由增加的汗腺活动造成的增加的皮肤电导率可以是自主神经***的唤醒的结果。
在一个优选实施例中，所述位置传感器为光学传感器、光电传感器、电容传感器和霍尔传感器中的至少一种。所述位置传感器设置在所述可穿戴设备上。
位置传感器包括一个或多个肌电图(E M G)传感器、一个或多个肌动图(M M G，mechanomyography)传感器、一个或多个声肌图(SMG，sonomyography)传感器和/或被配置为检测神经肌肉信号的任何合适类型的一个或多个传感器。在一些实施例中，多个神经肌肉传感器可以用于感测与由肌肉控制的身体的部分的运动相关的肌肉活动，神经肌肉传感器被布置为从该肌肉感测肌肉活动。描述运动(例如，对于远离用户躯干的诸如手和脚等用户身体部分)的空间信息(例如，位置和/或方向信息)可以在用户随时间运动时基于感测的神经肌肉信号来预测。
在一个优选实施例中，所述可穿戴设备包括多个电磁感应器件，用于感应外界磁场以产生对用户的作用力。
在一个优选实施例中，所述用于人-计算机交互的装置还包括神经记录设备，用以记录与用户关联的神经信号；所述神经信号包括脑电图信号，该脑电图信号包括视觉诱发电位、感觉诱发电位、运动想象信号、事件相关电位、感觉运动节律、事件相关的去同步、事件相关的同步、慢皮质电位和与大脑状态有关的信号中的至少一个。
记录与用户关联的神经信号的一些示例包括事件相关电位(ERP)、运动想象、稳态视觉诱发电位(SSVEP)、暂态视觉诱发电位(TVEP)、大脑状态命令、视觉诱发电位(VEP)、诸如P300诱发电位之类的诱发电位、感觉诱发电位、运动诱发电位、感觉运动节律(诸如mu节律或beta节律)、事件相关的去同步(ERD)、事件相关的同步(ERS)、慢皮质电位(SCP)等，以及其它尚未发现的作为各种认知或感觉运动任务的基础的签名活动电位。神经活动也可以是频域。其中的一些示例包括感觉运动节律、事件相关的频谱扰动(ERSP)、特定信号频带(如Theta、Gamma或Mu节律等)。
神经记录头戴式装置104可以记录神经活动信号，以通过记录阶段收集关于用户意图的信息，该记录阶段测量大脑活动并将信息转化为易控制的电信号，电信号可以被转换成命令。神经记录头戴式装置可以被配置为通过脑电图(EEG)来记录电生理活动，脑电图具有高时间分辨率、建立和维护的低成本、高便携性并且对用户无创。神经记录头戴式装置可以包括具有传感器的一组电极，传感器从不同的大脑区域获取脑电图信号。这些传感器可以测量由神经元中的树突突触刺激期间电流流动所引起的电信号，从而中继二次电流的影响。当放置在用户的头皮上时，神经信号可以通过适当地布置在期望的大脑区域上的神经记录头戴式装置中的电极来记录。示例性神经记录耳机可以从如Biosemi、WearableSensing和G.Tec等商业供应商处获得。
在一个优选实施例中，所述处理器还被配置为集成所述神经信号以确定用户的焦点。
处理器还被配置为集成神经信号、身体运动信号以确定用户的焦点。
为了改变三维虚拟现实环境，处理器执行以下处理的指令：使用深层强化学习方法来将三维虚拟现实环境的改变与计算的用户在现实和/或虚拟现实中意图的动作相关联。
为了改变三维现实环境，处理器执行以下处理的指令：使用深层强化学习方法来将三维现实环境的改变与计算的用户在现实和/或虚拟现实中意图的动作相关联。处理器指示可穿戴设备(例如外骨骼)实现用户意图的动作，可穿戴设备反馈用户相应的视觉和/或触觉之刺激。
附图说明
本发明及其优点将通过研究以非限制性实施例的方式给出，并通过所附附图所示的特定实施方式的详细描述而更好的理解，其中：
图1是本发明实施例1的用于人-计算机交互的装置之示意图。
图2是本发明实施例1的用于人-计算机交互的装置之头戴式部件的示意图。
图3是本发明实施例1的的用于人-计算机交互的装置之触觉交互装置的结构示意图。
图4是本发明实施例1的的用于人-计算机交互的装置之触觉交互装置的另一结构示意图。
图5是本发明实施例1的的用于人-计算机交互的装置之触觉交互装置的又一结构示意图。
具体实施方式
请参照附图中的图式，其中相同的组件符号代表相同的组件，本发明的原理是以实施在一适当的环境中来举例说明。以下的说明是基于所示例的本发明的具体实施例，其不应被视为限制本发明未在此详述的其它具体实施例。
本说明书所使用的词语“实施例”意指用作实例、示例或例证。此外，本说明书和所附权利要求中所使用的冠词“一”一般地可以被解释为意指“一个或多个”，除非另外指定或从上下文清楚导向单数形式。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“设置”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接或可以相互通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
此外，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方，或表示第一特征水平高度小于第二特征。
下文的公开提供了许多不同的实施方式或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅为示例，并且目的不在于限制本发明。此外，本发明可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。此外，本发明提供了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。
实施例1
首先，通过图1-图5，就本发明的实施例1的用于人-计算机交互的装置进行说明。如图1所示，本实施例的用于人-计算机交互的装置，其包括头戴式部件10和手套形状的触觉交互装置20。如图2所示，头戴式部件10包括显示器101和位置传感器102。如图3所示，触觉交互装置20包括可穿戴设备2011和处理器2012。头戴式部件10的显示器101，配置为向用户显示控制界面。显示器101采用增强现实(Augmented Reality)技术提供现实和虚拟现实图像。显示器101可直接采用光学透视式或者显示镜面反射式显示。位置传感器102包括摄像头，用于监控用户的移动。
触觉交互装置20，用于与显示器101和位置传感器102进行操作耦合。所述触觉交互装置20包括：用于产生触觉的可穿戴设备2011和处理器2012。
所述处理器2012操作耦合到可穿戴设备2011，并配置为：
接收来自位置传感器102的身体运动信号；
通过控制界面和触觉交互装置20向用户呈现视觉和触觉之刺激，所述刺激包括与动作集合相关联的控制项集合；
基于身体运动信号来确定用户的焦点，该焦点与控制项集合中的至少一个控制项相关联；
基于所述焦点和所述至少一个控制项，确定用户在现实和虚拟现实中意图的动作；以及通过控制界面和触觉交互装置20向用户反馈在现实和虚拟现实中实现用户意图的动作相应的视觉和触觉之刺激。所述触觉之刺激包括超声波在用户皮肤产生的压力，微电极产生的温度、湿度和静电，以及电磁线圈感应外界磁场变化产生的作用力。
基于上述装置的人-计算机交互***包括通过界面的刺激显示、用于记录和处理用户移动的位置传感器102、用于向用户传递和反馈触觉之刺激的可穿戴设备2011、以及用于实行对界面的控制的装置，对界面的控制可以转化为对用户环境的控制。这些标准特征可以表征为(1)指向控制特征、(2)动作控制特征和(3)UI特征。指向控制特征可以类似于常规的指向设备，如鼠标指针，它允许用户缩小到一小组一个或多个操纵器以进行控制。动作控制特征可以类似于选择设备，例如鼠标单击或键盘上的击键，它允许用户实现动作以实行对UI的改变以及进而对连接的机器的改变。人-计算机交互***中的UI特征可以类似于操作***，它创建并维护实现指向控制特征和动作控制特征的环境，以及如提供选择菜单、导航控件等其它特征。
由动作控制特征执行的动作可以是许多动作之一，并且可以被适配以适合被设计为控制各种设备或机器的UI的各种版本。仅举几例，动作可以是激活或去激活、UI的连续或半连续改变(例如，滚动、悬停、捏合、缩放、倾斜、旋转、滑动等)。动作还可以通过离散的开始和停止(例如，突出显示等)对UI进行剧烈改变。经由UI的动作控制的其它一些示例可以包括虚拟键盘控制、菜单导航、用于放置和取消放置物体或项的动作、移动物体或项的动作、扩展和/或缩小物体、第一人称观察者或玩家的移动或导航、改变观察者的视角以及如抓取、拾取或悬停之类的动作。
通过控制界面和触觉交互装置20向用户呈现视觉和触觉之刺激的步骤包括：向预训练的统计模型提供身体运动信号作为输入；
基于预训练的统计模型的输出确定用户身体在增强现实中的空间关系信息；
根据空间关系信息确定向用户呈现视觉和触觉之刺激。
预训练的统计模型包括人的肌肉-骨骼***的模拟。人的肌肉-骨骼***可以模拟成多节铰接刚体***(multiple segmentarticulated rigid body system)，其中，关节形成不同区段之间的界面，以及关节角度限定模型中连接区段之间的空间关系。关节处的运动约束由连接各区段的关节的类型和限制关节处运动范围的生物结构(例如，肌肉、肌腱、韧带)决定。例如，将上臂连接到躯干的肩关节和将上腿连接到躯干的髋关节是球窝关节，其允许伸展和弯曲运动以及旋转运动。相比之下，连接上臂和前臂的肘关节以及连接上腿和下腿的膝关节允许的运动范围更受限。如本文所述，多节铰接刚体***用于模拟人类肌肉-骨骼***。然而，应当理解，人体肌肉-骨骼***的一些区段(例如，前臂)虽然近似为多节铰接刚体***中的刚体，但可以包括多个刚性结构(例如，前臂的尺骨和桡骨)，该多个刚性结构提供了区段内的更复杂的运动，这明显没有被刚体模型考虑。因此，与本文描述的技术的一些实施例一起使用的铰接刚体***的模型可以包括表示不是严格刚体的身体部位的组合的区段。
在运动学中，刚体是表现出各种运动属性(例如，位置、方向、角速度、加速度)的物体。已知刚体的一区段的运动属性能够基于区段如何连接的约束来确定刚体的其他区段的运动属性。例如，手臂可以被建模为两区段铰接刚体，其上部对应于在肩关节处连接到身体的躯干的上臂并且下部对应于前臂，其中，两区段在肘关节处连接。作为另一个例子，手可以被建模为多区段铰接体，其中，手腕中的关节和每个手指形成模型中多个区段之间的界面。在一些实施例中，刚体模型中区段的运动可以被模拟为多节铰接刚体***，其中，使用预训练的统计模型预测模型中一区段相对于其他段的方向和位置信息。
预训练的统计模型还包括对用户身体所在增强现实的模拟。对用户身体所在增强现实的模拟可通过宽带网络获取；或者处理器2012加载从针对普通人群的大量成员或大量预期用户(例如，预期使用用于人-计算机交互的装置的普通人群的成员)的训练中导出的初步模型；或者处理器2012根据用于人-计算机交互的装置的传感器(例如摄像头)获取的图像信息构建的空间模型。
所述可穿戴设备2011包括多个超声换能器20111，所述超声换能器20111配置为以超声波频率在空中生成预定分布的非表面压力模式，以便人类皮肤可以检测到。
超声波聚焦原理是通过多个超声换能器20111所发射的超声波在聚焦点叠加来实现聚焦。通过控制各个超声换能器20111发射的时间，来控制各个超声换能器20111发射的超声波的相位，从而使得每个超声换能器20111发出的超声波在到达空间中某一点时具有相同的相位，就可以在该点叠加增强，在该点外的空间由于相位不同则产生叠加减弱甚至抵消，该点即为聚焦点。通过使用相可控的超声换能器20111阵列在空中的目标上施加声辐射力，可以在人的皮肤上的聚焦点产生触感。超声波由超声换能器20111传输，每个换能器发出的相位都经过调整，以使这些波同时到达目标点，以使施加的声辐射力最大化。
所述可穿戴设备2011包括多个微型电极20112，通过调节所述微型电极20112的表面电势、温度和湿度的参数以生成预定分布的触觉之所述刺激，以便人类皮肤可以检测到。
多个微型电极20112，通过调节所述微型电极20112的表面电势、温度和湿度的参数以生成预定分布的触觉之所述刺激，用来模拟给定物体和用户皮肤之间的接触，从而用户皮肤可以感知、访问与其交互的给定物体的数据(例如，物体的三维形状、特征等)。这些接触行为同时以图像的形式通过显示器101呈现给用户，接触行为的图像显示了用户与虚拟/增强现实中给定物体的接触状态和程度。
本实施例的微型电极20112包括二维材料和纳米晶体材料层层叠加的结构实现三种不同的功能：湿度、温度和压力测试。
本实施例的微型电极20112也可以用于皮肤电反应(GSR)(也称为皮肤电活动(EDA)和皮肤电导率(SC))传感器测量用户的皮肤的电特性的改变，诸如，由出汗引起的电导率的改变。由增加的汗腺活动造成的增加的皮肤电导率可以是自主神经***的唤醒的结果。
所述可穿戴设备2011包括多个电磁感应器件20113，用于感应外界磁场以产生对用户的作用力。
所述位置传感器102还包括设置在所述可穿戴设备2011上的光电传感器、电容传感器和霍尔传感器。
位置传感器102包括一个或多个肌电图(EMG)传感器、一个或多个肌动图(MMG，mechanomyography)传感器、一个或多个声肌图(SMG，sonomyography)传感器和/或被配置为检测神经肌肉信号的任何合适类型的一个或多个传感器。在一些实施例中，多个神经肌肉传感器可以用于感测与由肌肉控制的身体的部分的运动相关的肌肉活动，神经肌肉传感器被布置为从该肌肉感测肌肉活动。描述运动(例如，对于远离用户躯干的诸如手和脚等用户身体部分)的空间信息(例如，位置和/或方向信息)可以在用户随时间运动时基于感测的神经肌肉信号来预测。
所述用于人-计算机交互的装置的头戴式部件10还包括神经记录设备103，用以记录与用户关联的神经信号；所述神经信号包括脑电图信号，该脑电图信号包括视觉诱发电位、感觉诱发电位、运动想象信号、事件相关电位、感觉运动节律、事件相关的去同步、事件相关的同步、慢皮质电位和与大脑状态有关的信号中的至少一个。
记录与用户关联的神经信号的一些示例包括事件相关电位(ERP)、运动想象、稳态视觉诱发电位(SSVEP)、暂态视觉诱发电位(TVEP)、大脑状态命令、视觉诱发电位(VEP)、诸如P300诱发电位之类的诱发电位、感觉诱发电位、运动诱发电位、感觉运动节律(诸如mu节律或beta节律)、事件相关的去同步(ERD)、事件相关的同步(ERS)、慢皮质电位(SCP)等，以及其它尚未发现的作为各种认知或感觉运动任务的基础的签名活动电位。神经活动也可以是频域。其中的一些示例包括感觉运动节律、事件相关的频谱扰动(ERSP)、特定信号频带(如Theta、Gamma或Mu节律等)。
神经记录头戴式装置103可以记录神经活动信号，以通过记录阶段收集关于用户意图的信息，该记录阶段测量大脑活动并将信息转化为易控制的电信号，电信号可以被转换成命令。神经记录头戴式装置可以被配置为通过脑电图(EEG)来记录电生理活动，脑电图具有高时间分辨率、建立和维护的低成本、高便携性并且对用户无创。神经记录头戴式装置可以包括具有传感器的一组电极，传感器从不同的大脑区域获取脑电图信号。这些传感器可以测量由神经元中的树突突触刺激期间电流流动所引起的电信号，从而中继二次电流的影响。当放置在用户的头皮上时，神经信号可以通过适当地布置在期望的大脑区域上的神经记录头戴式装置中的电极来记录。示例性神经记录耳机可以从如Biosemi、WearableSensing和G.Tec等商业供应商处获得。
所述处理器2012还被配置为集成所述神经信号以确定用户的焦点。
处理器2012还被配置为集成神经信号、身体运动信号以确定用户的焦点。为了改变三维虚拟现实环境，处理器2012执行以下处理的指令：使用深层强化学习方法来将三维虚拟现实环境的改变与计算的用户在现实和虚拟现实中意图的动作相关联。
为了改变三维现实环境，处理器2012执行以下处理的指令：使用深层强化学习方法来将三维现实环境的改变与计算的用户在现实和/或虚拟现实中意图的动作相关联。处理器2012指示可穿戴设备2011(例如外骨骼)实现用户意图的动作，可穿戴设备2011反馈用户相应的视觉和/或触觉之刺激。
实施例2
本发明的实施例2的人机交互装置应用于游戏场景。以下仅就实施例2与实施例1的相异之处进行说明，关于相似之处在此不再赘述。
所述处理器2012操作耦合到可穿戴设备2011，并配置为：
接收来自位置传感器102的身体运动信号；
通过游戏控制界面和触觉交互装置20向用户呈现游戏的虚拟现实场景中的视觉和触觉之刺激，所述刺激包括与游戏动作集合相关联的游戏控制项集合；
基于身体运动信号来确定用户的焦点，该焦点与游戏控制项集合中的至少一个游戏控制项相关联；
基于所述焦点和所述至少一个游戏控制项，确定用户在虚拟现实中意图的动作；以及通过控制界面和触觉交互装置20向用户反馈在虚拟现实中实现用户意图的动作相应的视觉和触觉之刺激。所述触觉之刺激包括超声波在用户皮肤产生的压力图案、震动，微电极产生的温度、湿度变化和静电，以及电磁线圈感应外界磁场变化产生的作用力。
实施例3
本发明的实施例3的人机交互装置应用于远程驾驶场景。以下仅就实施例3与实施例1的相异之处进行说明，关于相似之处在此不再赘述。
所述处理器2012操作耦合到可穿戴设备2011，并配置为：
通过显示器101向用户呈现远程操作场景中的视觉图像；
基于身体运动信号来确定用户的焦点，该焦点与控制项集合中的至少一个驾驶控制项相关联；
基于所述焦点和所述至少一个驾驶控制项，确定用户在远程驾驶场景中意图的动作；以及通过控制界面和触觉交互装置20向用户反馈在远程驾驶场景中实现用户意图的动作相应的视觉和触觉之刺激。所述触觉之刺激包括超声波在用户皮肤产生的压力图案、震动，微电极产生的温度、湿度变化和静电，以及电磁线圈感应外界磁场变化产生的作用力。
实施例4
本发明的实施例4的人机交互装置应用于远程控制医疗机器人的场景。以下仅就实施例1与实施例1的相异之处进行说明，关于相似之处在此不再赘述。
所述处理器2012操作耦合到可穿戴设备2011，并配置为：
通过显示器101和触觉交互装置20向用户呈现远程操作场景中的视觉图像和触觉之刺激；
基于身体运动信号来确定用户的焦点，该焦点与医疗控制项集合中的至少一个游戏控制项相关联；
基于所述焦点和所述至少一个医疗控制项，确定用户在医疗场景中意图的动作；以及通过控制界面和触觉交互装置20向用户反馈在医疗场景中实现用户意图的动作相应的视觉和触觉之刺激。所述触觉之刺激包括超声波在用户皮肤产生的压力图案、震动，微电极产生的温度、湿度变化和静电，以及电磁线圈感应外界磁场变化产生的作用力。
虽然在上文中已经参考一些实施例对本发明进行了描述，然而在不脱离本发明的范围的情况下，可以对其进行各种改进并且可以用等效物替换其中的部件。尤其是，只要不存在结构冲突，本发明所披露的各个实施例中的各项特征均可通过任意方式相互结合起来使用，在本说明书中未对这些组合的情况进行穷举性的描述是出于省略篇幅和节约资源的考虑。因此，本发明并不局限于文中公开的特定实施例，而是包括落入权利要求的范围内的所有技术方案。
Claims (10)
1.一种用于人-计算机交互的装置，其特征在于，包括：
显示器，配置为向用户显示控制界面；
位置传感器，用于监控用户的移动；
触觉交互装置，用于与显示器和位置传感器进行操作耦合，所述触觉交互装置包括：
可穿戴设备，用于产生触觉；以及
处理器；
其中，所述处理器操作耦合到可穿戴设备，并配置为：
接收来自位置传感器的身体运动信号；
通过控制界面和/或触觉交互装置向用户呈现视觉和/或触觉之刺激，所述刺激包括与动作集合相关联的控制项集合；
基于身体运动信号来确定用户的焦点，该焦点与控制项集合中的至少一个控制项相关联；
基于所述焦点和所述至少一个控制项，确定用户在增强现实和/或虚拟现实中意图的动作；以及
通过控制界面和/或触觉交互装置向用户反馈在增强现实和/或虚拟现实中实现用户意图的动作相应的视觉和触觉之刺激；
其中，所述触觉之刺激至少包括超声波在用户皮肤产生的压力。
2.根据权利要求1所述的用于人-计算机交互的装置，其特征在于，所述通过控制界面和/或触觉交互装置向用户呈现视觉和/或触觉之刺激包括：向预训练的统计模型提供身体运动信号作为输入；
基于预训练的统计模型的输出确定用户身体在增强现实和/或虚拟现实中的空间关系信息；
根据空间关系信息确定向用户呈现视觉和/或触觉之刺激。
3.根据权利要求1所述的用于人-计算机交互的装置，其特征在于，所述可穿戴设备包括多个超声换能器，所述超声换能器配置为以超声波频率在空中生成预定分布的非表面压力模式，以产生所述触觉之刺激。
4.根据权利要求1所述的用于人-计算机交互的装置，其特征在于，所述可穿戴设备包括多个微型电极，通过调节所述微型电极的表面电势、温度和湿度至少之一的参数以生成预定分布的触觉之所述刺激，以便人类皮肤可以检测到。
5.根据权利要求1所述的用于人-计算机交互的装置，其特征在于，所述位置传感器为光学传感器、光电传感器、电容传感器和霍尔传感器中的至少一种。
6.根据权利要求1所述的用于人-计算机交互的装置，其特征在于，所述可穿戴设备包括多个电磁感应器件，用于感应外界磁场以产生对用户的作用力。
7.根据权利要求1所述的用于人-计算机交互的装置，其特征在于，所述用于人-计算机交互的装置还包括眼球追踪设备，其配置为监控用户的眼球运动信号；所述处理器还被配置为集成所述眼球追踪设备的眼球运动信号以确定用户的焦点。
8.根据权利要求1所述的用于人-计算机交互的装置，其特征在于，所述用于人-计算机交互的装置还包括神经记录设备，用以记录与用户关联的神经信号；所述神经信号包括脑电图信号，该脑电图信号包括视觉诱发电位、感觉诱发电位、运动想象信号、事件相关电位、感觉运动节律、事件相关的去同步、事件相关的同步、慢皮质电位和与大脑状态有关的信号中的至少一个；所述处理器还被配置为集成所述神经信号以确定用户的焦点。
9.根据权利要求1所述的用于人-计算机交互的装置，其特征在于，所述基于身体运动信号来确定用户的焦点包括：基于身体运动信号来模拟其在增强现实和/或虚拟现实中的动作映射。
10.根据权利要求1所述的用于人-计算机交互的装置，其特征在于，所述处理器被编程为：至少部分地基于接收来自所述位置传感器的所述身体运动信号来生成训练数据；使用生成的训练数据中的至少一些来训练统计模型以输出训练的统计模型；以及通过至少一个存储装置存储训练的统计模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110422897.7A CN113220117B (zh) | 2021-04-16 | 2021-04-16 | 一种用于人-计算机交互的装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110422897.7A CN113220117B (zh) | 2021-04-16 | 2021-04-16 | 一种用于人-计算机交互的装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113220117A true CN113220117A (zh) | 2021-08-06 |
| CN113220117B CN113220117B (zh) | 2023-12-29 |
Family
ID=77088146
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110422897.7A Active CN113220117B (zh) | 2021-04-16 | 2021-04-16 | 一种用于人-计算机交互的装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113220117B (zh) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102156540A (zh) * | 2011-03-29 | 2011-08-17 | 南京航空航天大学 | 带振动触觉反馈的三维体感人机交互***及其交互方法 |
| EP2624238A1 (en) * | 2012-02-02 | 2013-08-07 | Eurocopter España, S.A. | Virtual mock up with haptic hand held aid |
| CN204883589U (zh) * | 2015-08-19 | 2015-12-16 | 天津先驱领域科技有限公司 | 一种多重体感的人机互动装置 |
| CN105426024A (zh) * | 2015-11-25 | 2016-03-23 | 吉林大学 | 一种基于超声波聚焦的触觉反馈***及方法 |
| WO2016097841A2 (en) * | 2014-12-16 | 2016-06-23 | Quan Xiao | Methods and apparatus for high intuitive human-computer interface and human centric wearable "hyper" user interface that could be cross-platform / cross-device and possibly with local feel-able/tangible feedback |
| WO2016168117A2 (en) * | 2015-04-14 | 2016-10-20 | John James Daniels | Wearable electric, multi-sensory, human/machine, human/human interfaces |
| CN106227339A (zh) * | 2016-08-16 | 2016-12-14 | 西安中科比奇创新科技有限责任公司 | 可穿戴设备、虚拟现实人机交互***及方法 |
| CN107221223A (zh) * | 2017-06-01 | 2017-09-29 | 北京航空航天大学 | 一种带有力/触觉反馈的虚拟现实飞机座舱*** |
| US20180157317A1 (en) * | 2016-08-18 | 2018-06-07 | Technische Universität Dresden | System and method for haptic interaction with virtual objects |
| CN110442233A (zh) * | 2019-06-18 | 2019-11-12 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于手势交互的增强现实键鼠*** |
| US10768708B1 (en) * | 2014-08-21 | 2020-09-08 | Ultrahaptics IP Two Limited | Systems and methods of interacting with a robotic tool using free-form gestures |
| CN111752393A (zh) * | 2020-07-03 | 2020-10-09 | 李飞翔 | 一种穿戴式智能手套 |
| CN112286366A (zh) * | 2020-12-30 | 2021-01-29 | 北京百度网讯科技有限公司 | 用于人机交互的方法、装置、设备和介质 |
| CN112580550A (zh) * | 2020-12-24 | 2021-03-30 | 康佳集团股份有限公司 | 一种利用人机物时空交互关系的用户意图预测方法及装置 |
-
2021
- 2021-04-16 CN CN202110422897.7A patent/CN113220117B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102156540A (zh) * | 2011-03-29 | 2011-08-17 | 南京航空航天大学 | 带振动触觉反馈的三维体感人机交互***及其交互方法 |
| EP2624238A1 (en) * | 2012-02-02 | 2013-08-07 | Eurocopter España, S.A. | Virtual mock up with haptic hand held aid |
| US10768708B1 (en) * | 2014-08-21 | 2020-09-08 | Ultrahaptics IP Two Limited | Systems and methods of interacting with a robotic tool using free-form gestures |
| WO2016097841A2 (en) * | 2014-12-16 | 2016-06-23 | Quan Xiao | Methods and apparatus for high intuitive human-computer interface and human centric wearable "hyper" user interface that could be cross-platform / cross-device and possibly with local feel-able/tangible feedback |
| CN108883335A (zh) * | 2015-04-14 | 2018-11-23 | 约翰·詹姆斯·丹尼尔斯 | 用于人与机器或人与人的可穿戴式的电子多感官接口 |
| WO2016168117A2 (en) * | 2015-04-14 | 2016-10-20 | John James Daniels | Wearable electric, multi-sensory, human/machine, human/human interfaces |
| CN204883589U (zh) * | 2015-08-19 | 2015-12-16 | 天津先驱领域科技有限公司 | 一种多重体感的人机互动装置 |
| CN105426024A (zh) * | 2015-11-25 | 2016-03-23 | 吉林大学 | 一种基于超声波聚焦的触觉反馈***及方法 |
| CN106227339A (zh) * | 2016-08-16 | 2016-12-14 | 西安中科比奇创新科技有限责任公司 | 可穿戴设备、虚拟现实人机交互***及方法 |
| US20180157317A1 (en) * | 2016-08-18 | 2018-06-07 | Technische Universität Dresden | System and method for haptic interaction with virtual objects |
| CN107221223A (zh) * | 2017-06-01 | 2017-09-29 | 北京航空航天大学 | 一种带有力/触觉反馈的虚拟现实飞机座舱*** |
| CN110442233A (zh) * | 2019-06-18 | 2019-11-12 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于手势交互的增强现实键鼠*** |
| CN111752393A (zh) * | 2020-07-03 | 2020-10-09 | 李飞翔 | 一种穿戴式智能手套 |
| CN112580550A (zh) * | 2020-12-24 | 2021-03-30 | 康佳集团股份有限公司 | 一种利用人机物时空交互关系的用户意图预测方法及装置 |
| CN112286366A (zh) * | 2020-12-30 | 2021-01-29 | 北京百度网讯科技有限公司 | 用于人机交互的方法、装置、设备和介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113220117B (zh) | 2023-12-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7091531B2 (ja) | 身体上ジェスチャ・インターフェース及び投影表示のための方法 | |
| Kim et al. | Recent advances in wearable sensors and integrated functional devices for virtual and augmented reality applications | |
| CN109804331B (zh) | 检测和使用身体组织电信号 | |
| Guo et al. | Toward an enhanced human–machine interface for upper-limb prosthesis control with combined EMG and NIRS signals | |
| Fleury et al. | A survey on the use of haptic feedback for brain-computer interfaces and neurofeedback | |
| KR101485591B1 (ko) | 초음파를 이용한 비침습적 뇌 자극을 통한 촉감 생성 장치, 방법 그리고 이를 이용한 컴퓨터 판독 가능한 기록 매체 | |
| Sierra González et al. | A realistic implementation of ultrasound imaging as a human-machine interface for upper-limb amputees | |
| Esposito et al. | Biosignal-based human–machine interfaces for assistance and rehabilitation: A survey | |
| JP2022500729A (ja) | 拡張現実システムの神経筋制御 | |
| US20160235323A1 (en) | Physiological parameter measurement and feedback system | |
| CN111542800A (zh) | 具有对于高速、精确和直观的用户交互的适配的大脑-计算机接口 | |
| US11327566B2 (en) | Methods and apparatuses for low latency body state prediction based on neuromuscular data | |
| Belkhiria et al. | EOG-based human–computer interface: 2000–2020 review | |
| Yue et al. | How to achieve human–machine interaction by foot gesture recognition: a review | |
| Carpi et al. | Non invasive brain-machine interfaces | |
| Gavrilovska et al. | Human bond communications: Generic classification and technology enablers | |
| CN113220117B (zh) | 一种用于人-计算机交互的装置 | |
| Ramasamy et al. | Soft actuators-based skill training wearables: a review on the interaction modes, feedback types, VR scenarios, sensors utilization and applications | |
| Schmidmaier | Sensory substitution systems | |
| Chen | Design and evaluation of a human-computer interface based on electrooculography | |
| WO2022190738A1 (ja) | 電気刺激装置及び電気刺激方法 | |
| EP3860527B1 (en) | Use of neuromuscular signals to provide enhanced interactions with physical objects in an augmented reality environment | |
| Kabir et al. | Auxilio: A Sensor-Based Wireless Head-Mounted Mouse for People with Upper Limb Disability | |
| Wu et al. | Bio-signal-based geometric modeling application for physically disabled users | |
| Zhang et al. | Tactile sensing and feedback in SEMG hand |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |