CN105892676A - 一种血管介入手术送丝机构的人机交互装置、***及方法 - Google Patents
一种血管介入手术送丝机构的人机交互装置、***及方法 Download PDFInfo
- Publication number
- CN105892676A CN105892676A CN201610266180.7A CN201610266180A CN105892676A CN 105892676 A CN105892676 A CN 105892676A CN 201610266180 A CN201610266180 A CN 201610266180A CN 105892676 A CN105892676 A CN 105892676A
- Authority
- CN
- China
- Prior art keywords
- electromyographic signal
- wire feeder
- wire
- seal wire
- neutral net
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 230000003993 interaction Effects 0.000 title claims abstract description 18
- 230000002792 vascular Effects 0.000 title abstract description 4
- 230000009471 action Effects 0.000 claims abstract description 28
- 230000033001 locomotion Effects 0.000 claims description 40
- 210000004204 blood vessel Anatomy 0.000 claims description 30
- 230000007935 neutral effect Effects 0.000 claims description 30
- 239000010410 layer Substances 0.000 claims description 28
- 210000003205 muscle Anatomy 0.000 claims description 28
- 238000012549 training Methods 0.000 claims description 16
- 230000000875 corresponding effect Effects 0.000 claims description 14
- 230000003183 myoelectrical effect Effects 0.000 claims description 14
- 210000003813 thumb Anatomy 0.000 claims description 14
- 238000001914 filtration Methods 0.000 claims description 13
- 230000003321 amplification Effects 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 8
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 7
- 230000004118 muscle contraction Effects 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 230000002452 interceptive effect Effects 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 4
- 230000002596 correlated effect Effects 0.000 claims description 3
- 230000001537 neural effect Effects 0.000 claims description 3
- 230000000644 propagated effect Effects 0.000 claims description 3
- 230000003068 static effect Effects 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 2
- 239000011229 interlayer Substances 0.000 claims description 2
- 238000012546 transfer Methods 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 claims 1
- 230000008859 change Effects 0.000 abstract description 8
- 238000002567 electromyography Methods 0.000 abstract 1
- 210000002364 input neuron Anatomy 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 210000002569 neuron Anatomy 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 4
- 241001269238 Data Species 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000008602 contraction Effects 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 210000003811 finger Anatomy 0.000 description 2
- 210000005224 forefinger Anatomy 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 208000024172 Cardiovascular disease Diseases 0.000 description 1
- 208000005189 Embolism Diseases 0.000 description 1
- 208000007536 Thrombosis Diseases 0.000 description 1
- 230000036982 action potential Effects 0.000 description 1
- 238000002583 angiography Methods 0.000 description 1
- 238000005311 autocorrelation function Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 208000026106 cerebrovascular disease Diseases 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002526 effect on cardiovascular system Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 210000000245 forearm Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013152 interventional procedure Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003387 muscular Effects 0.000 description 1
- 210000004218 nerve net Anatomy 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/25—Bioelectric electrodes therefor
- A61B5/279—Bioelectric electrodes therefor specially adapted for particular uses
- A61B5/296—Bioelectric electrodes therefor specially adapted for particular uses for electromyography [EMG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/389—Electromyography [EMG]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Molecular Biology (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Dermatology (AREA)
- Neurology (AREA)
- Neurosurgery (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明公开了一种基于表面肌电的血管介入手术送丝机构的人机交互***、装置和方法。该***包括:主动导丝、第一电极片、手臂、第二电极片、肌电信号采集通道、肌电信号采集仪、从动导丝、送丝机构和控制装置;所述第一电极片用于贴在用户拇短展肌处;所述第二电极片用于贴在用户肱二头肌处;所述肌电信号采集仪用于采集肌电信号;所述控制装置根据所述肌电信号产生控制指令;所述送丝机构根据接收到的控制指令控制径向步进电机和轴向步进电机执行动作,所述径向步进电机用于旋转所述从动导丝,所述轴向步进电机用于推送所述从动导丝。本发明解决了血管介入机器人人机交互透明度差、手术效率低、改变了医生自然手术操作习惯等问题。
Description
技术领域
本发明涉及信号处理与模式识别领域,尤其涉及一种基于表面肌电的血管介入手术送丝机构的人机交互装置、***及方法。
背景技术
目前,血管介入手术机器人已成为辅助医生治疗心脑血管疾病的重要工具。机器人辅助血管介入手术是指医生在数字减影血管造影成像(DSA)***的导引下,操控操纵杆或操作手柄控制机器人推送导丝(一种带有刚性的软丝)在人体血管内运动,对病灶进行治疗,达到栓塞畸形血管、溶解血栓、扩张狭窄血管等目的。通过主从控制,血管介入手术机器人可以大幅度地减少医生受到的X射线辐射剂量。
然而,在整个介入手术过程中,医生需要通过操纵杆或操作手柄来控制机器人进行手术,这彻底改变了传统介入手术的自然操作方式。血管介入机器人主要存在人机交互透明度差、手术效率低、改变了医生自然手术操作习惯等问题,人机交互性能已经成为制约血管介入机器人发展的主要瓶颈之一。医生在长期的血管介入操作实践中,形成了良好的操作技巧,通过“手感”手指上的力触感能够很好的操控介入器械,而机器人的引入在物理上隔断了医生对介入器械操控的直接感触。如何通过术中的实时信息感知,提高介入器械操作的透明度,是当前血管介入机器人能否突破临床应用瓶颈的一个重要问题。
针对上述问题,于2015年9月9日公开的中国发明专利CN 104899594A,公开了基于表面肌电信号分解的手部动作识别方法,利用sEMG信号分解得到的运动单元动作电位信息,对手部动作进行识别,有效提高了单通道sEMG识别率。于2015年8月19日公开的中国发明专利CN104850231 A公开了一种基于表面肌电和肌音信号融合的人机接口***,可以将表面肌电和肌音信号进行融合解码,将操作者的意图转化为外接设备的控制指令。于2016年2月17日公开的中国发明专利CN 105326500 A公开了一种基于表面肌电信号的动作识别方法和设备,可以将表面肌电信号的频率和幅值特征结合起来识别对应的肢体动作。
然而,这些方法虽然对肌电信号进行了很多处理,均达到了很好的识别效果,但却并没有应用于血管介入手术中,也没有将表面肌电信号与血管介入手术中医生的自然操作联系起来,现有技术并未考虑到这一点。
发明内容
为了解决上述现有技术中存在的问题,本发明提供了一种基于表面肌电的血管介入手术送丝机构的人机交互***,其利用表面肌电信号作为医生在血管介入手术中的人机交互接口。
根据本发明一方面,其提供了一种基于表面肌电的血管介入手术送丝机构的人机交互***,该***包括:主动导丝、第一电极片、第一电极连接线、手臂、第二电极连接线、第二电极片、肌电信号采集通道、肌电信号采集仪、从动导丝、送丝机构和控制装置;其中,
所述主动导丝供用户操作;
所述第一电极片用于贴在用户拇短展肌处,并通过第一电极连接线连接至肌电信号采集仪的第一肌电信号采集通道上;
所述第二电极片用于贴在用户肱二头肌处,通过第二电极连接线连接至肌电信号采集仪的第二肌电信号采集通道上;
所述肌电信号采集仪用于采集第一肌电信号采集通道和第二肌电信号采集通道上的肌电信号;
所述控制装置根据所述肌电信号产生控制指令,并传送至送丝机构;
所述送丝机构包括从动导丝、径向步进电机和轴向步进电机;所述径向步进电机用于旋转所述从动导丝,所述轴向步进电机用于推送所述从动导丝,所述送丝机构根据接收到的控制指令控制径向步进电机和轴向步进电机执行动作。
根据本发明第二方面,其提供了一种基于表面肌电的血管介入手术送丝机构的人机交互装置,其包括:
肌电信号采集模块,肌电信号预处理模块,肌电信号特征提取模块,动作识别模块和控制模块,其中:
所述肌电信号采集模块用于采集医生进行血管介入手术过程中操作主动导丝时手部肌肉收缩的肌电信号;
所述肌电信号预处理模块用于对采集的肌电信号进行差分放大和巴特沃斯滤波;
所述肌电信号特征提取模块用于提取经过预处理的肌电信号的特征;
所述动作识别模块用于训练BP神经网络,并利用训练好的BP神经网络对医生进行所述操作时的手部动作进行识别;
所述控制模块用于根据所述BP神经网络识别出的动作,发送相应的控制指令至送丝机构,以控制从动导丝的相应动作。
根据本发明第三方面,提供了一种基于表面肌电的血管介入手术送丝机构的人机交互方法,其包括以下步骤:
步骤1:将三块第一电极片贴在拇短展肌处,将三块第二电极片贴在肱二头肌处,三块第一电极片分别连接肌电信号采集仪第一通道中的正极、负极和地,三块第二电极片分别连接连接肌电信号采集仪第二通道中的正极、负极和地;
步骤:2:操作者用手部操作主动导丝进行旋转、停止和推送三种动作各一段时间,肌电信号采集仪采集操作者所述第一通道和第二通道上的肌电信号;
步骤3:将所述肌电信号的前部分采集数据作为训练数据,提取相关特征,并训练BP神经网络;
步骤4:所述肌电信号的后部分采集数据测试训练好的BP神经网络,当所述BP神经网络准确率达到预定阈值时,进入下一步,否则返回步骤3;
步骤5:操作者用手部操作主动导丝肌电信号采集仪采集第一通道和第二通道中的肌电信号后进行特征提取,然后作为BP神经网络的输入,BP神经网络根据所述输入对所述操作者的动作信号进行识别,并输出控制指令至送丝机构;
步骤6:当送丝机构接收到旋转指令时,送丝机构控制径向步进电机运动,实现从动导丝的旋转;当送丝机构接收到推送指令时,,送丝机构控制轴向步进电机运动,实现从动导丝的推送;当送丝机构接收到停止指令后,送丝机构控制的径向步进电机和轴向步进电机均停止运动。
根据本发明第四方面,提供了一种基于表面肌电的血管介入手术送丝机构的人机交互方法,其包括以下步骤:
采集医生进行血管介入手术过程中操作主动导丝时手部肌肉收缩的肌电信号;
对采集的肌电信号进行差分放大和巴特沃斯滤波;
提取经过预处理的肌电信号的特征;
利用所提取的特征训练BP神经网络,并利用训练好的BP神经网络对医生进行所述操作时的手部动作进行识别;
根据所述BP神经网络识别出的动作,发送相应的控制指令至送丝机构,以控制从动导丝的相应动作。
与现有技术相比,本发明取得的有益效果是:通过获取医生在介入手术过程中搓捻导丝和推送或回撤导丝时的手部肌电信号,滤波处理后经BP神经网络训练得到的训练模型,可以用来识别医生的手术动作。动作识别后再将控制命令发送至送丝机构,实现人机交互接口。该人机交互接口解决了血管介入机器人人机交互透明度差、手术效率低、改变了医生自然手术操作习惯等问题。
附图说明
图1是根据本发明一实施例的人机交互实现的方法流程图;
图2是根据本发明一实施例的BP神经网络结构示意图;
图3是根据本发明一实施例的人机交互接口示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明进一步详细说明。
本发明提供了一种基于表面肌电的血管介入手术送丝机构的人机交互接口。血管介入手术过程中,医生操作导丝或导管时主要包括搓捻和推送两种动作。搓捻导丝时,医生用食指与拇指捏住导丝,两手指相对滑动,在摩擦力的驱动下,导丝发生旋转并寻找到最佳的分岔血管入口。推送导丝时,医生用同样的方式夹持住导丝,整个手部往前推送或往后回撤,实现了导丝的轴向运动。
为了达到上述目的,根据本发明提出了一种基于表面肌电的血管介入手术送丝机构的人机交互接口,该接口包括:肌电信号采集模块,肌电信号预处理模块,肌电信号特征提取模块,动作识别模块,控制模块,其中:
所述的肌电信号采集模块是由中国科学院自行研制的8通道肌电信号采集仪采集拇短展肌和肱二头肌收缩时的肌电信号。医生搓捻导丝时,手部的拇短展肌收缩和舒张,食指的拇指产生相对运动,摩擦力驱动导丝旋转;医生推送导丝时,手部的肱二头肌收缩和舒张,肌肉力带动前臂运动,从而驱动导丝向前推送或向后回撤。在采集肌电信号前,皮肤表面的毛发须清除干净,再用酒精搓拭,待酒精挥发后,将电极片贴在拇短展肌和肱二头肌的表面,并连接肌电信号采集仪的两个采集通道,肌电信号的采集频率为1024Hz,。
所述的肌电信号处理模块主要包括差分放大和巴特沃斯滤波。表面肌电信号实质上是神经***刺激肌肉收缩时的所产生的一种微弱电信号,未经放大的原始信号通常在50μv到20-30mv之间。原始的表面肌电信号在采集到***后,首先需要进行差分放大以消除来自直流电源噪声的影响。肌电信号极限频率范围通常在10-500Hz之间。其中巴特沃斯滤波主要是将肌电信号中的高频、低频、50Hz工频信号滤除,包括带通滤波和陷波滤波。带通滤波以消除运动伪影和高频噪声的干扰带通滤波器的频率范围可以设为20-500Hz。另外,为了消除50Hz的工频干扰,还需要进行50Hz的陷波滤波。肌电信号的主要频段集中在50-150Hz范围内。
所述的肌电信号特征提取模块使用采集的两通道的表面肌电信号来提取信号的相关特征参数,包括:积分绝对值(IAV)、差分绝对值DAMV、过零点数(ZC)、均方差(VAR)、中值频率(MDF)、平均频率(MF)。六个特征参数的定义及提取如下:
(1)积分绝对值(IAV)
积分绝对值(IAV)是将信号的幅值全部转化为正值以后的特征,它是肌肉收缩力量的最直观反应,积分绝对值(IAV)越大,说明肌肉的收缩力量也越大。积分绝对值(IAV)通常利用滑动窗求均值的方法来获得,其数学表达式可写成:
其中xj表示肌电信号的第j个时间点的幅值,N表示滑动窗的长度。
(2)差分绝对值(DAMV)
差分绝对值(DAMV)首先通过计算特定长度的肌电信号时间序列中每两个临近点的差分绝对值,然后再求平均。该特征值的大小表明了肌电信号的震动特性,该值越大,说明信号震动得越强烈,反之则越微弱。它的数学表达式可表示为:
(3)过零点数(ZC)
过零点数(ZC)描述的是肌电信号时间序列在幅值的变化过程中,正负值交替变化的次数,或穿过0坐标的次数。该特征值从时域的角度对信号的频域特征进行了估计,用来描述波形在幅度上变化的剧烈程度,反映了信号的变化趋势,其计算公式可表示为:
其中xi为表面肌电信号采样的数据点值。
(4)均方差(VAR)
均方差(VAR)是利用肌电信号的能量大小作为特征值。通常,均方差(VAR)是利用统计学的特征,将肌电信号时间序列减去肌电信号均值,求平方,再求均值。由于肌电信号在预处理中已经除去了直流分量,因此其均值可视为0,则均方差(VAR)的计算方式可表示为:
它是信号功率的测量,其中N为每组的采样点数。
(5)中值频率(MDF)
中值频率(MDF)与肌肉收缩的速度有很大关系,中值频率(MDF)是将信号的功率谱平均分成两部分的中间频率,其数学表达式为:
其中S(f)表示肌电信号的功率谱密度,f表示信号频率。
对于离散随机序列x(n),其自功率谱密度Sx(f)可表示为:
其中Ts为采样时间间隔,Rx(m)为信号x(n)的自相关函数。
(6)平均频率(MF)
肌电信号的平均频率(MF)可表示为:
在本发明中,两个通道的肌电信号均包含此6个特征,对提取的特征参数构建多参数的特征向量,指每个动作两路信号共12个参数来构建一个特征向量,该特征向量维度为12维。
所述动作识别模块用于识别经过特征提取后的肌电信号,输出相应的动作。对于搓捻、静止、推送三个动作,每个动作采集30秒,每个通道有30720个采样点。其中,前20秒采样数据用于反向传播(BP)神经网络的训练,后10秒数据用于网络的测试。
提取了肌电信号的特征以后,还需要训练网络的权值和阈值,并对网络的性能进行检验。在训练网络前,须对不同动作的相同参数做横向归一化处理,即为对同一操作者的多种不同动作的相同参数作横向比较并归一化。归一化是一种无量纲处理手段,使物理***数值的绝对值变成某种相对值的关系。
选择的网络结构为三层:输入层,中间层和输出层。输入层神经元的个数由所使用的特征值的多少来决定,当每个通道使用单个IAV、DAMV、ZC、VAR、MF、MDF等作为特征输入时,则网络的输入神经元个数为2,当使用m个特征作为输入时,则网络的输入神经元个数为2m。本发明实例中,输入层结点为12。中间层神经元的多少根据网络的收敛情况进行调节,本发明实例中,中间层结点为10。输出层的神经元的个数为3,且输出值在0和1之间,用以区分3种不同的运动状态,搓捻、静止、推送可以用三个二进制码来表示,分别是[100]、[010]、[001]。
BP神经网络的训练过程如下:正向传播是输入信号从输入层经中间层传向输出层,若输出层得到了期望的输出,则学习算法结束;否则,转至反向传播。网络的学习算法包括前向传播用来计算网络的输出;反向传播采用梯度下降法,用来调整各层间的权值。算法的基本思想是梯度下降法。它采用梯度搜索技术,以期使网络的实际输出值与期望输出值的误差均方值为最小。神经网络不仅具有自学习、自组织和并行处理等特征,还具有很强的容错能力和联想能力,故神经网络对输入输出数据具有模式识别的能力。
所述控制模块用于发送控制命令到送丝机构,控制送丝机构的运动状态。当网络输出为[1 0 0]时,控制程序发送命令到送丝机构,送丝机构的径向步进电机运动,实现导丝的旋转;当网络输出为[0 0 1]时,控制程序发送命令到送丝机构,送丝机构的轴向步进电机运动,实现导丝的推送;当网络输出为[0 1 0]时,控制程序发送命令到送丝机构,送丝机构的径向步进电机和轴向步进电机均停止运动。
图1是根据本发明一实施例的人机交互接口实现流程图,原始的表面肌电信号在采集到***后,首先需要进行差分放大以消除来自直流电源噪声的影响,然后进行带通滤波以消除运动伪影和高频噪声的干扰,带通滤波器的频率范围可以设为20-500Hz。另外,为了消除50Hz的工频干扰,还需要进行50Hz的陷波滤波,确保信号的质量。然后对滤波后的信号进行特征提取,包括:积分绝对值(IAV)、差分绝对值(DAMV)、过零点数(ZC)、均方差(VAR)、中值频率(MDF)、平均频率(MF)。再根据相应的特征训练BP神经网络,训练好的网络就可以用来识别医生的手部动作,包括:搓捻、停止、推送,并输出相应的二进制代码:[1 0 0]、[0 1 0]、[00 1]。然后将相应的控制命令发送到下位机中的控制芯片中,控制相应的电机运动或停止。
图2是根据本发明一实施例的BP神经网络结构示意图,建立了一个三层BP神经网络来实现肌电信号与医生手部动作的映射,选择了非线性tansig函数和线性purelin函数分别作为网络的中间层传输函数和输出层传输函数。如图2的网络结构,其网络输出可表示为:
其中,p=[p1,p2,…,pl]为网络的输入向量,即拇短展肌的肌电信号特征和肱二头肌的肌电信号特征;l为网络的输入神经元个数,bin与bout分别为网络中间层阈值向量和输出层阈值向量,Win与Wout分别为网络输入层权值矩阵和输出层权值矩阵,State=[State1,State2,State3]表示为运动状态的识别二进制码。具体判断方法:输出向量State与标准的运动状态二进制表示的内积,内积最大者即是对应的运动状态。
可以看出,输入神经元的个数l不仅取决于肌电信号通道的个数,还取决于所选特征的个数。如果所选特征个数为m,同时肌电信号的通道数为k,则输入神经元的个数为l=km。输出层神经元的个数为3。中间层的神经元的个数是不确定的,需要根据输入神经元的数量以及网络的性能进行不断调节。在本发明一实施例中,所选特征个数为6,肌电信号的通道数为2,输入神经元的个数为12,中间层神经元个数为10。
图3是根据本发明一实施例的人机交互***示意图,该人机接口***包括:主动导丝1、第一电极片2、第一电极连接线3、手臂4、第二电极连接线5、第二电极片6、肌电信号采集通道7、肌电信号采集仪8、连接线9、计算机10、显示器11、从动导丝12、径向步进电机13、轴向步进电机14、送丝机构15。
其中,主动导丝1,用户通过操作所述主动导丝1发出相应的操作命令;优选地,所述操作包括旋转、推送和停止操作;
第一电极片2,其用于贴在用户拇短展肌处,其通过第一电极连接线3连接至肌电信号采集仪8的第一肌电信号采集通道7上;
第二电极片6,其用于贴在用户肱二头肌处,通过第二电极连接线5连接至肌电信号采集仪8的第二肌电信号采集通道7上;
肌电信号采集仪8,用于第一肌电信号采集通道和第二肌电信号采集通道上的肌电信号;
计算机10,用于根据所述肌电信号产生控制指令,并传送至送丝机构15;
送丝机构15,其包括从动导丝12、径向步进电机13和轴向步进电机14;其中,所述径向步进电机13根据接收到的控制指令旋转所述从动导丝12,所述轴向步进电机14根据接收到的控制指令推送所述从动导丝12。
控制送丝机构驱动导丝运动包括以下步骤:
步骤1:去除操作者手臂6上拇短展肌和肱二头肌的体毛,并用酒精擦拭;
步骤2:待酒精挥发完全后,将第一电极片2、第二电极片5分别贴在拇短展肌和肱二头肌处,第一电极片2包括三块,第二电极片5包括三块,每块电极片2、5相隔1-2cm,第一电极片2中的三块电极片通过第一电极连接线3分别连接至肌电信号采集仪8的一通道7的正极、负极和地,第二电极片5中的三块电极片通过第二电极连接线5分别连接肌电信号采集仪8另一通道7的正极、负极和地;
步骤3:操作者用手臂4操作主动导丝1旋转、停止、推送各30秒,每个动作完成后,休息5分钟继续采集下一个动作,并同时打开计算机10中上位机控制程序,采集操作者各肌肉的肌电信号数据;
步骤4:在计算机控制程序中,将两个通道的肌电信号的前20秒数据作为训练数据,提取相关特征,并训练BP神经网络;
步骤5:用后10秒的数据测试训练好的BP神经网络,当准确率达到90%时,进入下一步,否则返回步骤3;
步骤6:连接送丝机构15,操作者操作主动导丝1,包括旋转、停止,推送三个动作,肌电信号采集仪8采集肌电信号后进行特征提取,然后作为BP神经网络的输入,网络对动作信号进行识别,并输出控制指令至送丝机构15;当网络输出为[1 0 0]时,控制程序发送命令到送丝机构15,送丝机构15的径向步进电机13运动,实现从动导丝12的旋转;当网络输出为[0 0 1]时,控制程序发送命令到送丝机构15,送丝机构15的轴向步进电机14运动,实现从动导丝12的推送;当网络输出为[0 1 0]时,控制程序发送命令到送丝机构15,送丝机构的径向步进电机13和轴向步进电机14均停止运动。
计算机20处理器为Intel i7-2600,RAM 4.00GB;显示器21为22inch宽屏。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (13)
1.一种基于表面肌电的血管介入手术送丝机构的人机交互***,其特征在于,该***包括:主动导丝、第一电极片、第一电极连接线、手臂、第二电极连接线、第二电极片、肌电信号采集通道、肌电信号采集仪、从动导丝、送丝机构和控制装置;其中,
所述主动导丝供用户操作;
所述第一电极片用于贴在用户拇短展肌处,并通过第一电极连接线连接至肌电信号采集仪的第一肌电信号采集通道上;
所述第二电极片用于贴在用户肱二头肌处,通过第二电极连接线连接至肌电信号采集仪的第二肌电信号采集通道上;
所述肌电信号采集仪用于采集第一肌电信号采集通道和第二肌电信号采集通道上的肌电信号;
所述控制装置根据所述肌电信号产生控制指令,并传送至送丝机构;
所述送丝机构包括从动导丝、径向步进电机和轴向步进电机;所述径向步进电机用于旋转所述从动导丝,所述轴向步进电机用于推送所述从动导丝,所述送丝机构根据接收到的控制指令控制径向步进电机和轴向步进电机执行动作。
2.如权利要求1所述的***,其中,所述控制指令旋转、推送和停止指令;所述送丝机构根据旋转指令控制所述径向步进电机旋转所述从动导丝;所述送丝机构根据所述推送指令控制所述轴向步进电机推送所述从动导丝,所述送丝机构根据所述停止指令停止所述轴向步进电机和所述径向步进电机运作。
3.如权利要求2所述的***,其中,用户对所述主动导丝的操作包括搓捻、推送和静止,分别对应旋转、推送和停止指令。
4.如权利要求1-3任一项所述的***,其中,所述控制装置接收到所述肌电信号后进行特征提取,利用所提取的特征训练BP神经网络,并利用训练得到的BP神经网络对用户操作进行识别。
5.如权利要求4所述的***,其中,所述特征包括积分绝对值、差分绝对值、过零点数、均方差、中值频率和平均频率中的一种或几种的组合。
6.如权利要求4或5所述的***,其中,所述控制装置对接收到肌电信号进行预处理后提取特征,所述预处理包括差分放大和巴特沃斯滤波。
7.一种基于表面肌电的血管介入手术送丝机构的人机交互装置,其包括:
肌电信号采集模块,肌电信号预处理模块,肌电信号特征提取模块,动作识别模块和控制模块,其中:
所述肌电信号采集模块用于采集医生进行血管介入手术过程中操作主动导丝时手部肌肉收缩的肌电信号;
所述肌电信号预处理模块用于对采集的肌电信号进行差分放大和巴特沃斯滤波;
所述肌电信号特征提取模块用于提取经过预处理的肌电信号的特征;
所述动作识别模块用于训练BP神经网络,并利用训练好的BP神经网络对医生进行所述操作时的手部动作进行识别;
所述控制模块用于根据所述BP神经网络识别出的动作,发送相应的控制指令至送丝机构,以控制从动导丝的相应动作。
8.根据权利要求7所述的人机交互装置,其特征在于,所述肌电信号包括拇短展肌和肱二头肌的肌电信号。
9.根据权利要求7所述的人机交互装置,其特征在于,所述差分放大用于放大肌电信号,并去除直流电源噪声的影响;所述巴特沃斯滤波用于将肌电信号中的高频、低频、50Hz工频信号滤除,肌电信号极限频率范围在10-500Hz之间。
10.根据权利要求7所述的装置,其特征在于,
BP神经网络的学习算法包括前向传播和反向传播;所述前向传播用来计算BP神经网络的输出;所述反向传播采用梯度下降法,用来调整BP神经网络中各层间的权值。
11.根据权利要求7所述的装置,其特征在于,所述BP神经网络包括输入层、中间层和输出层,学习算法采用非线性tansig函数和线性purelin函数分别作为中间层和输出层的传输函数。
12.一种基于表面肌电的血管介入手术送丝机构的人机交互方法,其包括以下步骤:
步骤1:将三块第一电极片贴在拇短展肌处,将三块第二电极片贴在肱二头肌处,三块第一电极片分别连接肌电信号采集仪第一通道中的正极、负极和地,三块第二电极片分别连接连接肌电信号采集仪第二通道中的正极、负极和地;
步骤:2:操作者用手部操作主动导丝进行旋转、停止和推送三种动作各一段时间,肌电信号采集仪采集操作者所述第一通道和第二通道上的肌电信号;
步骤3:将所述肌电信号的前部分采集数据作为训练数据,提取相关特征,并训练BP神经网络;
步骤4:所述肌电信号的后部分采集数据测试训练好的BP神经网络,当所述BP神经网络准确率达到预定阈值时,进入下一步,否则返回步骤3:
步骤5:操作者用手部操作主动导丝肌电信号采集仪采集第一通道和第二通道中的肌电信号后进行特征提取,然后作为BP神经网络的输入,BP神经网络根据所述输入对所述操作者的动作信号进行识别,并输出控制指令至送丝机构;
步骤6:当送丝机构接收到旋转指令时,送丝机构控制径向步进电机运动,实现从动导丝的旋转;当送丝机构接收到推送指令时,送丝机构控制轴向步进电机运动,实现从动导丝的推送;当送丝机构接收到停止指令后,送丝机构控制的径向步进电机和轴向步进电机均停止运动。
13.一种基于表面肌电的血管介入手术送丝机构的人机交互方法,其包括以下步骤:
采集医生进行血管介入手术过程中操作主动导丝时手部肌肉收缩的肌电信号;
对采集的肌电信号进行差分放大和巴特沃斯滤波;
提取经过预处理的肌电信号的特征;
利用所提取的特征训练BP神经网络,并利用训练好的BP神经网络对医生进行所述操作时的手部动作进行识别;
根据所述BP神经网络识别出的动作,发送相应的控制指令至送丝机构,以控制从动导丝的相应动作。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610266180.7A CN105892676B (zh) | 2016-04-26 | 2016-04-26 | 一种血管介入手术送丝机构的人机交互装置、***及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610266180.7A CN105892676B (zh) | 2016-04-26 | 2016-04-26 | 一种血管介入手术送丝机构的人机交互装置、***及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105892676A true CN105892676A (zh) | 2016-08-24 |
CN105892676B CN105892676B (zh) | 2021-12-24 |
Family
ID=56705493
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610266180.7A Active CN105892676B (zh) | 2016-04-26 | 2016-04-26 | 一种血管介入手术送丝机构的人机交互装置、***及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105892676B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108305522A (zh) * | 2018-04-09 | 2018-07-20 | 西南石油大学 | 一种用于血管介入手术操作引导用的训练设备 |
CN108388855A (zh) * | 2018-02-11 | 2018-08-10 | 宁波工程学院 | 一种针电极肌电信号分解方法 |
CN110151177A (zh) * | 2019-05-28 | 2019-08-23 | 长春理工大学 | 基于表面肌电信号的足下垂检测装置及检测方法 |
CN112017516A (zh) * | 2020-08-26 | 2020-12-01 | 北京理工大学 | 一种远程血管介入手术训练*** |
CN112807001A (zh) * | 2019-11-15 | 2021-05-18 | 上海中研久弋科技有限公司 | 多步态意图识别和运动预测方法、***、终端以及介质 |
CN113545855A (zh) * | 2021-05-31 | 2021-10-26 | 中国科学院自动化研究所 | 应用于血管介入手术的力检测***及方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103861290A (zh) * | 2014-02-27 | 2014-06-18 | 常州大学 | 一种肌电遥控玩具飞行器及其控制方法 |
CN105511600A (zh) * | 2015-07-31 | 2016-04-20 | 华南理工大学 | 一种基于混合现实的多媒体人机交互平台 |
-
2016
- 2016-04-26 CN CN201610266180.7A patent/CN105892676B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103861290A (zh) * | 2014-02-27 | 2014-06-18 | 常州大学 | 一种肌电遥控玩具飞行器及其控制方法 |
CN105511600A (zh) * | 2015-07-31 | 2016-04-20 | 华南理工大学 | 一种基于混合现实的多媒体人机交互平台 |
Non-Patent Citations (3)
Title |
---|
丁其川 等: "基于表面肌电的运动意图识别方法研究及应用综述", 《自动化学报》 * |
奉振球 等: "微创血管介入手术机器人***的设计与控制", 《PROCEEDINGS OF THE 32ND CHINESE CONTROL CONFERENCE》 * |
张旭: "基于表面肌电信号的人体动作识别与交互", 《中国优秀硕士论文全文数据库 信息科技辑》 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108388855A (zh) * | 2018-02-11 | 2018-08-10 | 宁波工程学院 | 一种针电极肌电信号分解方法 |
CN108388855B (zh) * | 2018-02-11 | 2022-02-11 | 宁波工程学院 | 一种针电极肌电信号分解方法 |
CN108305522A (zh) * | 2018-04-09 | 2018-07-20 | 西南石油大学 | 一种用于血管介入手术操作引导用的训练设备 |
CN108305522B (zh) * | 2018-04-09 | 2023-09-01 | 西南石油大学 | 一种用于血管介入手术操作引导用的训练设备 |
CN110151177A (zh) * | 2019-05-28 | 2019-08-23 | 长春理工大学 | 基于表面肌电信号的足下垂检测装置及检测方法 |
CN112807001A (zh) * | 2019-11-15 | 2021-05-18 | 上海中研久弋科技有限公司 | 多步态意图识别和运动预测方法、***、终端以及介质 |
CN112807001B (zh) * | 2019-11-15 | 2024-06-04 | 上海中研久弋科技有限公司 | 多步态意图识别和运动预测方法、***、终端以及介质 |
CN112017516A (zh) * | 2020-08-26 | 2020-12-01 | 北京理工大学 | 一种远程血管介入手术训练*** |
CN113545855A (zh) * | 2021-05-31 | 2021-10-26 | 中国科学院自动化研究所 | 应用于血管介入手术的力检测***及方法 |
CN113545855B (zh) * | 2021-05-31 | 2022-12-06 | 中国科学院自动化研究所 | 应用于血管介入手术的力检测***及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN105892676B (zh) | 2021-12-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105892676A (zh) | 一种血管介入手术送丝机构的人机交互装置、***及方法 | |
CN104382595B (zh) | 一种基于肌电信号与虚拟现实交互技术的上肢康复***及方法 | |
CN107378944B (zh) | 一种基于主成分分析法的多维表面肌电信号假手控制方法 | |
CN104000586B (zh) | 基于脑肌电和虚拟场景的脑卒中患者康复训练***及方法 | |
CN104107134B (zh) | 基于肌电反馈的上肢训练方法及*** | |
Wang et al. | Deep back propagation–long short-term memory network based upper-limb sEMG signal classification for automated rehabilitation | |
CN106726030A (zh) | 基于临床脑电信号控制机械手运动的脑机接口***及其应用 | |
Too et al. | A detail study of wavelet families for EMG pattern recognition | |
CN104207793A (zh) | 一种抓握功能评估与训练*** | |
CN111584030A (zh) | 基于深度学习和复杂网络的意念控制智能康复***及应用 | |
CN111584031B (zh) | 基于便携式脑电采集设备的脑控智能肢体康复***及应用 | |
CN108743223A (zh) | 一种基于健侧生物电控的智能外骨骼康复机械手及方法 | |
Li et al. | EEG signal classification method based on feature priority analysis and CNN | |
Li et al. | Wireless sEMG-based identification in a virtual reality environment | |
CN112732090B (zh) | 基于肌肉协同的用户无关实时手势识别方法 | |
Guo et al. | Lw‐CNN‐Based Myoelectric Signal Recognition and Real‐Time Control of Robotic Arm for Upper‐Limb Rehabilitation | |
CN114206292A (zh) | 具有意图感知功能的手功能康复装置 | |
Yu et al. | Wrist torque estimation via electromyographic motor unit decomposition and image reconstruction | |
Guo et al. | Towards semi-supervised myoelectric finger motion recognition based on spatial motor units activation | |
Fan et al. | Robust neural decoding for dexterous control of robotic hand kinematics | |
CN113730190A (zh) | 一种三维空间运动的上肢康复机器人*** | |
Amrani et al. | Artificial neural networks based myoelectric control system for automatic assistance in hand rehabilitation | |
CN115024735B (zh) | 一种基于运动意图识别模型的脑卒中患者康复方法及*** | |
CN116562392A (zh) | 血管介入手术动作感知与学习***、方法及存储介质 | |
CN114936574A (zh) | 一种基于bci的高灵活度机械手***及其实现方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20190524 Address after: 100095 Building 1, Unit 1, 101A, No. 14, No. 3 Courtyard, Gaolizhang Road, Haidian District, Beijing Applicant after: Beijing Zhongke Hongtai Medical Technology Co., Ltd. Address before: 100190 Zhongguancun East Road, Haidian District, Haidian District, Beijing Applicant before: Institute of Automation, Chinese Academy of Sciences |
|
TA01 | Transfer of patent application right | ||
GR01 | Patent grant | ||
GR01 | Patent grant |