CN105589558A - 基于表面肌电信号的虚拟现实头盔减负随动***及方法 - Google Patents
基于表面肌电信号的虚拟现实头盔减负随动***及方法 Download PDFInfo
- Publication number
- CN105589558A CN105589558A CN201510870466.1A CN201510870466A CN105589558A CN 105589558 A CN105589558 A CN 105589558A CN 201510870466 A CN201510870466 A CN 201510870466A CN 105589558 A CN105589558 A CN 105589558A
- Authority
- CN
- China
- Prior art keywords
- flexible cable
- signal
- unit
- motion detection
- servo
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- A—HUMAN NECESSITIES
- A42—HEADWEAR
- A42B—HATS; HEAD COVERINGS
- A42B3/00—Helmets; Helmet covers ; Other protective head coverings
- A42B3/04—Parts, details or accessories of helmets
- A42B3/0406—Accessories for helmets
- A42B3/0433—Detecting, signalling or lighting devices
- A42B3/0466—Means for detecting that the user is wearing a helmet
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Neurosurgery (AREA)
- Neurology (AREA)
- Health & Medical Sciences (AREA)
- Dermatology (AREA)
- Biomedical Technology (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Prostheses (AREA)
- Toys (AREA)
- Manipulator (AREA)
Abstract
本发明涉及一种基于人体表面肌电信号驱动的虚拟现实头盔显示器减负随动***及工作步骤。该***包括安装在颈部的表面肌电检测单元,内周均匀布置六组柔性钢索驱动装置的机械上平台,每组包括伺服电机、同步齿形带、柔索滚轮、拉力传感器、柔索导向轮,六根柔性钢索通过上平台外周的六个导向轮与头盔显示器相连,以及数据采集单元、计算机***和减负随动控制算法软件***。本发明的特点是:融合了生物电信号和传统机械测量信号各自的特点,通过检测头颈部表面信号估计头部运动意图,并利用建立的肌电-力模型估计颈部肌肉受力,同时通过机构中的拉力传感器和电机位置速度信号反馈对关节空间中的六根柔索实现高精度的力控制和位置控制,进而对任务空间中的头盔实现实时减负和随动控制。本发明的目的是减轻头盔显示器本身重量和线缆对佩戴者所带来的侵入感和束缚感,提高体验虚拟现实环境的沉浸感觉;同时为虚拟现实***提供佩戴者高实时性和高精度的六自由度头部运动信息。
Description
技术领域
本发明涉及一种虚拟显示的交互设备,尤其涉及改善虚拟现实的头盔显示器。
背景技术
头盔显示器是虚拟现实领域常见的设备,主要用于三位立体虚拟场景的显示。高分辨率、高对比度、大视场角的头盔显示器通常很重且体积较大,显示***和传感器的信号线也较多,这就造成佩戴时体验者往往行动不便,而且头颈部很容易疲劳,长时间佩戴会大大影响虚拟现实***的沉浸感,造成体验效果的急剧下降;同时现有的运用于虚拟现实头盔的超声或电磁头部运动检测传感器,会受到外部环境的干扰,造成准确性下降,难以满足虚拟现实交互的要求。
已授权专利(专利授权号CN101791159B)提出了一种六自由度并联机构头盔伺服***,利用伺服电机带动连接头盔的六根并联滚珠丝杠实现头盔显示器减负的功能,由于其所有的驱动部件包括电机、同步齿形带和滚珠丝杠机构都安装在运动支链上,造成运动部件惯量很大,难以达到快速响应的要求,同时由于采用力传感器的方式对头部运动力进行检测延时较大,又使用刚性结构,对快速的头部运动无法进行实时伺服运动,会影响虚拟现实的体验效果。
发明内容
本发明的目的是提供一种减轻虚拟现实体验者佩戴头盔显示器负荷的装置及方法,从而提高在虚拟环境中漫游时的舒适度,增强虚拟现实的沉浸感;同时利用***中的测量装置跟踪体验者的头部运动位置,为虚拟现实的视景环境提供运动反馈信息。
本发明为实现上述目的,采用如下技术方案:
基于表面肌电信号驱动的虚拟现实头盔减负***,其特征在于包括柔索驱动和运动检测单元、上平台、柔索导向单元、可控伸缩柔性钢索、表面肌电测量单元、数据采集单元、控制计算机及基于表面肌电信息反馈的减负控制算法。上平台六边形结构内侧布置安装六组柔索驱动和运动检测单元,柔索导向单元安装于上平台六边形结构内侧和外侧,柔索经驱动和运动检测单元引出,通过柔索导向单元与头盔显示器连接;柔索驱动和运动检测单元的信号输出端以及表面肌电测量单元的输入端与数据采集单元的信号输入端相连接,数据采集单元的信号输出端与伺服电机驱动器的信号输入端相连接;数据采集单元与控制计算机相连接。
本发明的柔索驱动和运动检测单元中包括伺服电机、同步齿形带、转角和转速传感器、柔索滚轴、柔索拉力传感器和柔索导向轮。伺服电机、转速和转角传感器串行连接于安装孔上,伺服电机和柔索滚轴安装在电机传动安装支架上,通过同步齿形带和同步齿形带驱动轮进行连接,同步齿形带通过同步齿形带限位器进行限位,滚轴上的柔索180度反方向绕过拉力传感器上安装的柔索导向轮,通过上平台结构件和柔索导向单元。
本发明的柔索导向单元中包括通过安装孔(20)安装在上平台(2)六边形结构内侧的导向轮(16)和外侧的导向轮(15)。
本发明的基于表面肌电信息反馈的减负控制算法安装于控制计算机,通过建立基于神经网络的力-肌电信号模型,实时估算出头部的运动力和力矩,结合柔索驱动和运动检测单元中传感器输出的柔索运动信息和拉力信息,以优化减轻佩戴者的头部负荷为目标,计算出柔索驱动和运动检测单元中驱动伺服电机的输入电压信号。
本发明采用上述技术方案,与现有技术相比具有如下优点:
本发明提出的头盔减负***,是利用表面肌电信号检测及六自由度并联柔索机构实现的。该***的有益效果有三项:一是采用佩戴者的头颈部肌电信号作为头部力反馈,由于肌电信号建立于头部运动之前,时延很低,可以实时实现头盔减负算法的计算,让佩戴者感觉无重量和束缚感;二是采用并联柔索机构可以大大降低运动部件的惯性,进一步提高了执行机构的实时性,同时所有驱动装置都固定于上平台上无需移动,而且头盔显示器安装方便,只需要与柔索进行连接;三是***可以通过关节空间内柔索的运动信息测量,对任务空间内六自由度头部运动位置和姿态进行正向运动学解算,能达到很高的稳定性和精度。
附图说明
图1是本发明的一种结构示意图。
图2是本发明头盔显示减负随动***的俯视图。
图3是本发明柔索驱动和运动检测单元与柔索导向单元的结构示意图。
图4是本发明柔索滚轴与伺服电机通过同步齿形带相连的结构示意图。
图5是本发明柔索通过导向单元的结构示意图。
图6是本发明基于表面肌电信息反馈的减负随动控制算法的结构框图。
图中:1、柔索驱动和运动检测单元,2、上平台,3、柔索导向单元,4、可控伸缩柔性钢索,5、表面肌电测量单元,6、数据采集单元,7、控制计算机,8、头盔显示器,9、伺服电机,10、转速与转角传感器,11、柔索拉力传感器,12、柔索滚轴,13、电机传动安装支架,14、柔索导向轮,15、外柔索导向轮,16、内柔索导向轮,17、同步齿形带驱动轮,18、同步齿形带,19、同步齿形带限位器,20、安装孔。
具体实施方式
下面结合附图对本发明的技术方案进详细说明:
如图1和图2所示,基于表面肌电信号驱动的虚拟现实头盔减负***,其特征在于包括柔索驱动和运动检测单元1、上平台2、柔索导向单元3、可控伸缩柔性钢索4、表面肌电测量单元5、数据采集单元6、控制计算机7及基于表面肌电信息反馈的减负控制算法。上平台2六边形结构内侧布置安装六组柔索驱动和运动检测单元1,柔索导向单元3安装于上平台2六边形结构内侧和外侧,柔索4经驱动和运动检测单元1引出,通过柔索导向单元3与头盔显示器8连接;柔索驱动和运动检测单元1的信号输出端以及表面肌电测量单元5的输入端与数据采集单元6的信号输入端相连接,数据采集单元6的信号输出端与伺服电机9驱动器的信号输入端相连接;数据采集单元6与控制计算机7相连接。
如图3和图4所示,柔索驱动和运动检测单元中包括伺服电机9、同步齿形带18、转角和转速传感器10、柔索滚轴12、柔索拉力传感器11和柔索导向轮14。伺服电机9、转速和转角传感器10串行连接于安装孔上,伺服电机9和柔索滚轴12安装在电机传动安装支架13上,通过同步齿形带18和同步齿形带驱动轮17进行连接,同步齿形带18通过同步齿形带限位器19进行限位,滚轴12上的柔索4按180度反方向绕过拉力传感器上安装的柔索导向轮14,通过上平台2结构件和柔索导向单元3。
如图5所示,柔索导向单元3,包括上平台六边形结构内侧的导向轮16和外侧的导向轮15,通过上平台2上的安装孔20进行连接。柔索4从导向轮中间的孔穿过。
本发明的表面肌电测量单元5包括多组表面肌电电极、参考电极和多通道表面肌电信息处理设备。提取头盔佩戴者头颈部表面肌电信息的步骤如下:在佩戴者颈部对应的肌肉位置放置采集电极,在耳垂上安放参考电极,多通道表面肌电信息处理设备对电极上获取的肌电电流进行放大整形滤波,处理后的信号送入数据采集单元6。
本发明的数据采集单元6主要由信号采集卡或其它信号采集电路组成,主要负责信号的采集与发送。柔索驱动和运动检测单元1中的电机转角和转速传感器10信号、柔索拉力传感器11信号、表面肌电测量单元5信号线路与数据采集单元6的数据采集端口相连,实现传感器数据的采集;数据采集单元6直接安装于控制计算机7,实现与控制计算机7间的数据交互;数据采集单元6的数据发送端口通过信号线路与伺服电机7驱动器的控制信号接口连接,实现控制信号的发送。
本发明的控制计算机7由工业控制计算机或其它数字计算机组成,主要负责基于表面肌电信息反馈的减负随动控制算法的实时计算、并联柔索结构的运动学和动力学解算、***控制以及信号处理等。该***的信号延迟远小于当前主流的头盔***。
如图6,基于表面肌电信息反馈的减负随动控制算法的结构如下:建立多输入多输出的神经网络模型,通过对应的肌电信息和头部运动信息,在头盔佩戴者头部多组不同运动速度和运动模式下对模型进行训练,得到佩戴者的头部运动肌电-力模型,通过这个模型实时估计佩戴者的头部运动力和力矩;通过检测六个伺服电机的位置和速度信号,结合肌电信号,预测出用户的头部运动位姿,通过逆Jacobian矩阵变换得到分支运动预测信息,通过并联柔索的动力学模型,计算出头盔***在任务空间中的作用力;减负随动控制***的控制目标是头与头盔之间的接触力最小,利用头盔-头力交互优化得出任务空间的交互期望力,然后通过反馈六根柔索上的拉力大小和逆Jacobian矩阵变化,计算得到任务空间中作用在头盔上的作用力和力矩,与交互期望力之间进行实时比较,通过控制计算机发出相应的电压信号输出到驱动柔索的伺服电机,实时改变柔索作用在头盔上的拉力,以便佩戴者感到头盔带来的束缚感和重量感减到最小,头盔***可以无负担地随佩戴者头部随动;同时伺服电机上安装的转角传感器可以得到每根柔索的伸缩量,通过运动学正向计算,可以实时解算出头部的六自由度位置姿态信息,用于虚拟视景随头部运动的场景改变。
Claims (4)
1.基于表面肌电信号驱动的虚拟现实头盔减负随动***,其特征在于包括柔索驱动和运动检测单元(1)、上平台(2)、柔索导向单元(3)、可控伸缩柔性钢索(4)、表面肌电测量单元(5)、数据采集单元(6)、控制计算机(7)及基于表面肌电信息反馈的减负随动控制算法。上平台(2)六边形结构内侧布置安装六组柔索驱动和运动检测单元(1),柔索导向单元(3)安装于上平台(2)六边形结构内侧和外侧,柔索(4)经驱动和运动检测单元(1)引出,通过柔索导向单元(3)与头盔显示器(8)连接;柔索驱动和运动检测单元(1)的信号输出端以及表面肌电测量单元(5)的输入端与数据采集单元(6)的信号输入端相连接,数据采集单元(6)的信号输出端与伺服电机(9)驱动器的信号输入端相连接;数据采集单元6与控制计算机7的信号输入端相连接,。
2.根据权利要求1所述的柔索驱动和运动检测单元(1)中包括伺服电机(9)、同步齿形带(18)、转角和转速传感器(10)、柔索滚轴(12)、柔索拉力传感器(11)和柔索导向轮(14)。伺服电机(9)、转速和转角传感器(10)串行连接于安装孔上,伺服电机(9)和柔索滚轴(12)安装在电机传动安装支架(13)上,通过同步齿形带(18)和同步齿形带驱动轮(17)进行连接,同步齿形带(18)通过同步齿形带限位器(19)进行限位,滚轴(12)上的柔索(4)180度反方向绕过拉力传感器上安装的柔索导向轮(14),通过上平台(2)结构件和柔索导向单元(3)。
3.根据权利要求1所述的柔索导向单元(3),包括通过安装孔(20)安装在上平台(2)六边形结构内侧的导向轮(16)和外侧的导向轮(15)。
4.根据权利要求1所述的基于表面肌电信息反馈的减负随动控制算法安装于控制计算机,通过建立肌电-力信号模型,实时估算出头部的运动力和力矩,结合柔索驱动和运动检测单元中传感器输出的柔索运动信息和拉力信息,以优化减轻佩戴者的头部负荷为目标,计算出柔索驱动和运动检测单元中驱动伺服电机的输入电压信号。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510870466.1A CN105589558B (zh) | 2015-11-25 | 2015-11-25 | 基于表面肌电信号的虚拟现实头盔减负随动***及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510870466.1A CN105589558B (zh) | 2015-11-25 | 2015-11-25 | 基于表面肌电信号的虚拟现实头盔减负随动***及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105589558A true CN105589558A (zh) | 2016-05-18 |
CN105589558B CN105589558B (zh) | 2022-02-18 |
Family
ID=55929200
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510870466.1A Active CN105589558B (zh) | 2015-11-25 | 2015-11-25 | 基于表面肌电信号的虚拟现实头盔减负随动***及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105589558B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106112971A (zh) * | 2016-07-14 | 2016-11-16 | 南京林业大学 | 一种基座铰点位置可自动调节的六自由度头颈部柔性外骨骼*** |
CN108445764A (zh) * | 2018-03-23 | 2018-08-24 | 吉林大学 | Stewart平台的主动柔顺控制策略 |
CN110815170A (zh) * | 2018-08-14 | 2020-02-21 | 中国科学院沈阳自动化研究所 | 一种基于并联柔索机构的重载吊装机器人 |
CN113050282A (zh) * | 2021-03-04 | 2021-06-29 | 北京幻鲸数字科技有限公司 | 一种基于5g网络的虚拟现实多人协作***及方法 |
CN113524144A (zh) * | 2021-06-15 | 2021-10-22 | 中国科学院自动化研究所 | 人工肌肉装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101034308A (zh) * | 2007-04-10 | 2007-09-12 | 南京航空航天大学 | 基于人体表面肌电信息的头盔显示器虚拟视觉时延补偿***及方法 |
CN101791159A (zh) * | 2010-01-29 | 2010-08-04 | 南京航空航天大学 | 一种六自由度并联机构头盔伺服*** |
KR20120093504A (ko) * | 2011-02-15 | 2012-08-23 | 서운수 | 자동 차광 고글 |
CN103440498A (zh) * | 2013-08-20 | 2013-12-11 | 华南理工大学 | 基于lda算法的表面肌电信号识别方法 |
CN104950446A (zh) * | 2015-06-19 | 2015-09-30 | 上海宏镜科技有限公司 | 可伸缩悬臂弹性梁头戴机构 |
CN104939419A (zh) * | 2015-07-08 | 2015-09-30 | 成都梦工厂网络信息有限公司 | 虚拟现实头盔设备 |
-
2015
- 2015-11-25 CN CN201510870466.1A patent/CN105589558B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101034308A (zh) * | 2007-04-10 | 2007-09-12 | 南京航空航天大学 | 基于人体表面肌电信息的头盔显示器虚拟视觉时延补偿***及方法 |
CN101791159A (zh) * | 2010-01-29 | 2010-08-04 | 南京航空航天大学 | 一种六自由度并联机构头盔伺服*** |
KR20120093504A (ko) * | 2011-02-15 | 2012-08-23 | 서운수 | 자동 차광 고글 |
CN103440498A (zh) * | 2013-08-20 | 2013-12-11 | 华南理工大学 | 基于lda算法的表面肌电信号识别方法 |
CN104950446A (zh) * | 2015-06-19 | 2015-09-30 | 上海宏镜科技有限公司 | 可伸缩悬臂弹性梁头戴机构 |
CN104939419A (zh) * | 2015-07-08 | 2015-09-30 | 成都梦工厂网络信息有限公司 | 虚拟现实头盔设备 |
Non-Patent Citations (2)
Title |
---|
滕燕: "表面肌电信号采集与处理***研究", 《机床与液压》 * |
赵辉: "《五轴联动并联机床关键技术》", 30 April 2008, 知识产权出版社 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106112971A (zh) * | 2016-07-14 | 2016-11-16 | 南京林业大学 | 一种基座铰点位置可自动调节的六自由度头颈部柔性外骨骼*** |
CN108445764A (zh) * | 2018-03-23 | 2018-08-24 | 吉林大学 | Stewart平台的主动柔顺控制策略 |
CN108445764B (zh) * | 2018-03-23 | 2021-01-12 | 吉林大学 | Stewart平台的主动柔顺控制策略 |
CN110815170A (zh) * | 2018-08-14 | 2020-02-21 | 中国科学院沈阳自动化研究所 | 一种基于并联柔索机构的重载吊装机器人 |
CN113050282A (zh) * | 2021-03-04 | 2021-06-29 | 北京幻鲸数字科技有限公司 | 一种基于5g网络的虚拟现实多人协作***及方法 |
CN113524144A (zh) * | 2021-06-15 | 2021-10-22 | 中国科学院自动化研究所 | 人工肌肉装置 |
Also Published As
Publication number | Publication date |
---|---|
CN105589558B (zh) | 2022-02-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105589558A (zh) | 基于表面肌电信号的虚拟现实头盔减负随动***及方法 | |
CN105963100B (zh) | 按患者运动所需辅助的下肢康复机器人自适应控制方法 | |
CN110742775B (zh) | 基于力反馈技术的上肢主被动康复训练机器人*** | |
CN103263338B (zh) | 一种上肢康复机器人 | |
CN108524187B (zh) | 一种六自由度的上肢康复机器人控制*** | |
CN101061984B (zh) | 利用肌电信号提供机械帮助的康复机器人*** | |
CN101791159B (zh) | 一种六自由度并联机构头盔伺服*** | |
CN105126302B (zh) | 一种自动适应跑步者速度的跑步机 | |
CN102225034B (zh) | 步态康复训练机器人控制*** | |
CN108283564A (zh) | 一种轻量型绳驱动智能踝关节外骨骼*** | |
CN108114405B (zh) | 基于3d深度摄像头和柔性力敏传感器的跑步机自适应*** | |
CN112842824B (zh) | 一种用于下肢康复恢复的训练方法 | |
CN203576848U (zh) | 一种基于生物信息感知的双侧镜像康复*** | |
CN110507322B (zh) | 一种基于虚拟诱导肌电定量状态评估***及方法 | |
CN109091818A (zh) | 基于导纳控制的绳牵引上肢康复机器人的训练方法及*** | |
CN106621207A (zh) | 康复机器人的训练方法及康复机器人 | |
CN109521784A (zh) | 一种触觉感知式可穿戴上肢外骨骼无人机控制***及方法 | |
CN105082159A (zh) | 一种基于脑电信号控制的工业机器人***及示教方法 | |
CN113244578B (zh) | 一种桌面上平面上肢康复机器人的主动模式控制*** | |
CN114005327B (zh) | 用于驾驶模拟器的人感*** | |
CN112621487B (zh) | 一种基于脑机控制的爬壁打磨装置及其控制方法 | |
CN206081447U (zh) | 一种用于多种康复训练运动的动力输出装置 | |
CN202367759U (zh) | 一种具有自动重力补偿的力觉交互装置 | |
CN205905027U (zh) | 一种机器人控制*** | |
CN105527046B (zh) | 手臂支撑平台的接触力、压力检测装置及数据分析方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |