CN113426007B - 一种用于上肢功能恢复的闭环硬脊膜外电刺激*** - Google Patents
一种用于上肢功能恢复的闭环硬脊膜外电刺激*** Download PDFInfo
- Publication number
- CN113426007B CN113426007B CN202110534939.6A CN202110534939A CN113426007B CN 113426007 B CN113426007 B CN 113426007B CN 202110534939 A CN202110534939 A CN 202110534939A CN 113426007 B CN113426007 B CN 113426007B
- Authority
- CN
- China
- Prior art keywords
- human body
- electric stimulation
- upper limb
- electroencephalogram
- spinal cord
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000638 stimulation Effects 0.000 title claims abstract description 164
- 210000001364 upper extremity Anatomy 0.000 title claims abstract description 61
- 238000011084 recovery Methods 0.000 title claims abstract description 12
- 210000001951 dura mater Anatomy 0.000 title claims description 9
- 210000000278 spinal cord Anatomy 0.000 claims abstract description 56
- 210000004556 brain Anatomy 0.000 claims abstract description 34
- 230000000875 corresponding effect Effects 0.000 claims description 23
- 230000009471 action Effects 0.000 claims description 18
- 238000000034 method Methods 0.000 claims description 13
- 210000003205 muscle Anatomy 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 210000002161 motor neuron Anatomy 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 7
- 230000003321 amplification Effects 0.000 claims description 5
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 238000013135 deep learning Methods 0.000 claims description 4
- 238000013136 deep learning model Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 claims description 3
- 210000000115 thoracic cavity Anatomy 0.000 claims description 3
- 125000004122 cyclic group Chemical group 0.000 claims description 2
- 238000012549 training Methods 0.000 abstract description 13
- 230000001537 neural effect Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 5
- 210000001503 joint Anatomy 0.000 description 5
- 210000002027 skeletal muscle Anatomy 0.000 description 5
- 206010049565 Muscle fatigue Diseases 0.000 description 4
- 210000002310 elbow joint Anatomy 0.000 description 4
- 206010008190 Cerebrovascular accident Diseases 0.000 description 3
- 208000006011 Stroke Diseases 0.000 description 3
- 230000002490 cerebral effect Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 210000000245 forearm Anatomy 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 210000000323 shoulder joint Anatomy 0.000 description 3
- 208000020431 spinal cord injury Diseases 0.000 description 3
- 210000003857 wrist joint Anatomy 0.000 description 3
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 210000003169 central nervous system Anatomy 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 229910052744 lithium Inorganic materials 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 206010001497 Agitation Diseases 0.000 description 1
- 230000000202 analgesic effect Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000038 chest Anatomy 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000004064 dysfunction Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 210000001145 finger joint Anatomy 0.000 description 1
- 239000010410 layer Substances 0.000 description 1
- 230000001483 mobilizing effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003183 myoelectrical effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000007634 remodeling Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N1/00—Electrotherapy; Circuits therefor
- A61N1/02—Details
- A61N1/04—Electrodes
- A61N1/05—Electrodes for implantation or insertion into the body, e.g. heart electrode
- A61N1/0551—Spinal or peripheral nerve electrodes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1116—Determining posture transitions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
- A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/372—Analysis of electroencephalograms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4836—Diagnosis combined with treatment in closed-loop systems or methods
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N1/00—Electrotherapy; Circuits therefor
- A61N1/18—Applying electric currents by contact electrodes
- A61N1/32—Applying electric currents by contact electrodes alternating or intermittent currents
- A61N1/36—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
- A61N1/3605—Implantable neurostimulators for stimulating central or peripheral nerve system
- A61N1/3606—Implantable neurostimulators for stimulating central or peripheral nerve system adapted for a particular treatment
- A61N1/36062—Spinal stimulation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N1/00—Electrotherapy; Circuits therefor
- A61N1/18—Applying electric currents by contact electrodes
- A61N1/32—Applying electric currents by contact electrodes alternating or intermittent currents
- A61N1/36—Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
- A61N1/3605—Implantable neurostimulators for stimulating central or peripheral nerve system
- A61N1/36128—Control systems
- A61N1/36135—Control systems using physiological parameters
- A61N1/36139—Control systems using physiological parameters with automatic adjustment
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Pathology (AREA)
- Physiology (AREA)
- Neurology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Neurosurgery (AREA)
- Dentistry (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Psychiatry (AREA)
- Psychology (AREA)
- Cardiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Electrotherapy Devices (AREA)
- Rehabilitation Tools (AREA)
Abstract
本发明公开了一种用于上肢功能恢复的闭环硬脊膜外电刺激***。动作捕捉装置，实时获取多角度人体姿态图像并发送控制装置；脑电采集装置，实时获取脑电信号，脑电信号经放大和滤波发送控制装置；控制装置，接收人体姿态图像和脑电信号获得上肢姿态数据和脑电信号特征，生成电刺激指令并发送脊髓电刺激装置；脊髓电刺激装置，接收指令向人体脊髓发电刺激脉冲。本发明***能够基于人体自身意志，主动调制支配人体上肢功能的神经活动，更有效地协助康复训练，促进人体上肢相关的神经环路的功能恢复。
Description
技术领域
本发明涉及医疗领域的一种脊髓电刺激***，尤其涉及一种用于脊髓损伤或脑卒中后的上肢功能恢复的闭环硬脊膜外电刺激***。
背景技术
脑卒中或脊髓损伤引起的中枢神经***的受损会导致人体无法正常产生控制运动的中枢神经***指令或无法将这些指令传输给骨骼肌，引发上肢运动功能障碍，目前常用的一类解决方案是功能性电刺激，这种方法通过在人体上肢皮肤表面固定一组或多组电极来对相关肌肉进行电刺激，帮助人体进行手臂和手掌的运动，但缺点是容易引发肌肉疲劳，无法长时间工作。硬脊膜外电刺激能够在脊髓背侧硬脊膜上施加刺激电流，激发位于人脊髓上的中枢模式发生网络，增强脊髓回路的兴奋性，从而调动骨骼肌进行收缩，能够有效减轻肌肉疲劳现象，促进损伤的神经环路的重塑，但目前其在实际应用中时空分辨率有限，无法像功能性电刺激一样实现对上肢的精确控制。
发明内容
本发明的目的针对现有上肢功能性电刺激容易引起肌肉疲劳和上肢硬脊膜外电刺激技术时空分辨率不足的情况，开发一种闭环硬脊膜外电刺激技术，以人体实时的脑电信号和运动状态为依据实时改变电刺激策略，诱发相应神经环路的活动，补偿目标骨骼肌的运动。
为实现上述目的，本发明所采用的技术方案是：
所述闭环硬脊膜外电刺激***包括动作捕捉装置、脑电采集装置、控制装置、脊髓电刺激装置，其中：
所述动作捕捉装置，用于实时获取多角度的人体姿态图像，并将所述人体姿态图像发送给所述控制装置；
所述脑电采集装置，用于实时获取人体的脑电信号，脑电信号经过放大和滤波后发送给所述控制装置；
所述控制装置，接收来自动作捕捉装置的人体姿态图像和来自脑电采集装置的脑电信号，进而实时处理和分析人体姿态图像中的上肢姿态数据和脑电信号中的脑电信号特征，生成包含电刺激参数的指令并发送给所述脊髓电刺激装置；
所述脊髓电刺激装置，接收所述控制装置发来的包含电刺激参数的指令，向人体脊髓发送电刺激脉冲。
所述动作捕捉装置主要由至少两台摄像头组成，摄像头从多视角采集人体上肢的图像作为人体姿态图像。
所述脑电采集装置至少包括多个采集通道、一个参考通道和脑电电极阵列，脑电电极阵列包含了多个布置在人体头部大脑的电极，每个采集通道分别连接各自的一个电极，参考通道连接一个电极并接地，采集通道的各个电极布置在不同的脑区上，采集脑区的脑电变化。
所述脑电采集装置包含用于对各个通道所采集的原始电信号进行处理的前置放大器、差分放大器和模拟滤波器，各个通道所采集的原始电信号依次经前置放大、差分放大和滤波处理后输出到控制装置。
所述控制装置接收人体实时的姿态数据和原始脑电信号并进行预处理，生成处理后的上肢姿态数据和脑电信号特征，再根据上肢姿态数据和脑电信号特征获得人体的当前运动状态和目标状态的差异，生成电刺激指令，发送给所述脊髓电刺激装置。
所述控制装置存储有基于深度学习的人体姿态估计程序，能够通过深度学习模型根据所述动作捕捉装置传输的多视角的人体姿态图像标注出人体上肢的关键点，并三维重建出各个关键点的空间坐标，生成人体上肢的运动学数据作为上肢姿态数据；
所述控制装置存储有脑电信号处理程序，脑电信号处理程序对所述脑电采集装置传输的原始脑电信号进行带通滤波和空间滤波后，获得脑电信号特征；
所述控制装置存储有基于神经网络构造的运动状态分类程序，所述运动状态分类程序根据运动学数据和脑电信号特征判定人体当前的运动状态，进而获得运动状态和目标状态之间的差异；
所述控制装置存储有电刺激控制程序，电刺激控制程序内置了根据人上肢各肌肉的运动学功能和支配上肢各肌肉的运动神经元在脊髓第二颈段到第一胸段之间的分布情况所预定义解剖学映射，电刺激控制程序首先根据所述预定义的解剖学映射确定电刺激位点，然后根据当前运动状态和目标状态之间的差异处理获得具体的电刺激参数，包括电刺激脉冲的频率、幅度、宽度和个数等参数，最后将所述电刺激位点和电刺激参数共同编码为电刺激指令发送给所述脊髓电刺激装置。
所述脊髓电刺激装置接收来自所述控制装置的电刺激指令，对电刺激指令中脊髓的硬脊膜上电刺激位点施加对应参数的电刺激脉冲序列，位于所述电刺激位点的运动神经元被激活，进而支配肌肉进行收缩，使上肢做出对应动作，再被动作捕捉装置和动作捕捉装置采集反馈到控制装置，不断循环往复闭环控制进行电刺激。
本发明的有益效果是：
本发明***能够基于人体自身意志，主动调制支配人体上肢功能的神经活动，更有效地协助康复训练，促进人体上肢相关的神经环路的功能恢复。
本发明既能够避免电刺激造成的较快肌肉疲劳，又能够结合人体实时脑电信号和运动状态对脊髓相应区域施加电刺激来调动相应骨骼肌，提升电刺激策略的时空分辨率。
附图说明
下面结合附图和实施例对本发明进一步说明；
图1是根据本发明一实施方式的闭环硬脊膜外电刺激***的结构示意图。
图2是根据本发明一实施方式的闭环硬脊膜外电刺激***的控制方法流程图。
图3是根据本发明一实施方式的姿态估计***数据处理流程图。
图4是根据本发明一实施方式的人肢体关键点结构示意图。
图5是根据本发明一实施方式的特征提取及融合与运动状态分类的神经网络结构示意图。
图6是根据本发明一实施方式的人执行抓握动作时的脑电信号特征和姿态特征示意图。
图7是根据本发明一实施方式的人执行抓握动作时电刺激控制程序的对应于图6的电刺激参数。
图8是根据本发明一实施方式的预定义解剖学映射。
图9是根据本发明一实施方式的闭环控制逻辑示意图。
图中：一对摄像头1、脑电电极阵列2、计算机3、上肢姿态数据4、脑电信号特征5、神经网络6、脊髓刺激装置7；面部中心8，颈部中心9，肩关节10，肘关节11，腕关节12，手掌关节集合13。
具体实施方式
以下参考说明书结合附图介绍本发明的一实施示例，对本发明进行进一步详细说明，并不限制本发明的范围。
附图中的内容并非按照实际比例绘制，为了结构清晰的目的，省略或放大了部分细节。
如图1所示，具体实施的***包括：
闭环硬脊膜外电刺激***包括动作捕捉装置、脑电采集装置、控制装置、脊髓电刺激装置，其中：
动作捕捉装置，用于实时获取多角度的人体姿态图像，并将人体姿态图像发送给控制装置；
脑电采集装置，用于实时获取人体的脑电信号(EEG，electroencephalo-graph)，脑电信号经过前置放大和滤波后发送给控制装置；
控制装置，接收来自动作捕捉装置的人体姿态图像和来自脑电采集装置的脑电信号，进而实时处理和分析人体姿态图像中的上肢姿态数据4和脑电信号中的脑电信号特征5，计算电刺激参数，生成包含电刺激参数的指令并发送给脊髓电刺激装置；
脊髓电刺激装置7，接收控制装置发来的包含电刺激参数的指令，向人体脊髓的硬脊膜发送电刺激脉冲，以实现上肢功能恢复。
本发明上肢功能恢复为脊髓损伤或脑卒中后的上肢功能恢复。
动作捕捉装置主要由至少两台摄像头1组成，摄像头1从多视角采集人体上肢的图像作为人体姿态图像，并根据人体姿态图像恢复获得人体上肢各个关节的空间坐标。
脑电采集装置至少包括多个采集通道、一个参考通道和脑电电极阵列2，脑电电极阵列2包含了多个布置在人体头部大脑的电极，电极的数量与采集通道和参考通道的总数相同，每个采集通道分别连接各自的一个电极，参考通道连接一个电极并接地，采集通道的各个电极布置在不同的脑区上，采集脑区的脑电变化。具体实施中，设置八个采集通道，可以由目前临床上常用的一个或多个镇痛电极组成。
脑电采集装置包含用于对各个通道所采集的原始电信号进行处理的前置放大器、差分放大器和模拟滤波器，各个通道所采集的原始电信号依次经前置放大、差分放大和滤波处理后输出到控制装置。
脑电采集装置是通过脑电电极阵列2的电极阵列采集到原始的头部电生理信号作为脑电信号。
控制装置可以采用计算机3，控制装置接收人体实时的姿态数据和原始脑电信号并进行预处理，生成处理后的带运动学数据的上肢姿态数据4和脑电信号特征5，再根据上肢姿态数据4和脑电信号特征5获得人体的当前运动状态和目标状态的差异，生成电刺激指令，发送给脊髓电刺激装置7。
上肢姿态数据指人体上肢各个关节的三维空间坐标，运动学数据指根据三维空间坐标计算的人体上肢各个关节的角度、角速度和角加速度等物理量。运动状态是指预定义的关于人体上肢执行各种动作的状态，例如手臂伸展、手掌握紧等，一系列连续的运动状态组成一个运动状态序列，进行康复训练的患者每刻都处于序列中的一个运动状态，定义为当前运动状态，序列中的下一个运动状态定义为目标运动状态。
控制装置存储有基于深度学习的人体姿态估计程序，能够通过深度学习模型根据动作捕捉装置传输的多视角的人体姿态图像标注出人体上肢的关键点，并三维重建出各个关键点的空间坐标，生成人体上肢的运动学数据作为上肢姿态数据4；
控制装置存储有脑电信号处理程序，脑电信号处理程序对脑电采集装置传输的原始脑电信号进行带通滤波和空间滤波后，获得脑电信号特征5；具体是采集原始的头部电生理信号进行数字带通滤波，去除肌电信号，并用空间滤波器进行预处理。
控制装置存储有基于神经网络6构造的运动状态分类程序，运动状态分类程序根据运动学数据和脑电信号特征5判定人体当前的运动状态，进而获得运动状态和目标状态之间的差异；目标状态为预先设定的人体运动状态。
控制装置存储有电刺激控制程序，电刺激控制程序内置了根据人上肢各肌肉的运动学功能和支配上肢各肌肉的运动神经元在脊髓第二颈段到第一胸段之间的分布情况所预定义解剖学映射，电刺激控制程序首先根据预定义的解剖学映射确定电刺激位点，电刺激位点是在脊髓的硬脊膜上然后根据当前运动状态和目标状态之间的差异处理获得具体的电刺激参数，包括电刺激脉冲的频率、幅度、宽度和个数等参数，最后将电刺激位点和电刺激参数共同编码为电刺激指令发送给脊髓电刺激装置。
具体地，电刺激控制程序中，将当前运动状态和目标状态之间的差异信息同时输入到PID控制器和动态逆动力学模型中，将PID控制器和动态逆动力学模型的输出结果相加后限幅处理获得电刺激脉冲的设置参数，进而输入到脊髓电刺激装置7中。电刺激控制程序不断重复上述过程，更新当前运动状态和目标状态，直到协助人体完成训练动作。
脊髓电刺激装置7接收来自控制装置的电刺激指令，对电刺激指令中脊髓的硬脊膜上电刺激位点施加对应参数的电刺激脉冲序列，位于电刺激位点的运动神经元被激活，进而支配肌肉进行收缩，使上肢做出对应动作，再被动作捕捉装置和动作捕捉装置采集反馈到控制装置，新的姿态数据和原始脑电信号被监测到，不断循环往复闭环控制进行电刺激。
例如：
A)在当前运动状态为前屈上举，目标状态为手臂伸展时，则生成电刺激指令，具体是在脊髓上的C5外侧，以20Hz频率，0.5mA幅度，0.2ms宽度。
B)在当前运动状态为手臂伸展，目标状态为手掌张开时，则生成电刺激指令，具体是在脊髓上的C5中央和外侧，以20Hz频率，0.5mA幅度，0.2ms宽度。
C)在运当前动状态为手掌张开，目标状态为手掌握紧时，则生成电刺激指令，具体是在脊髓上的C5外侧和C6外侧，以30Hz频率，0.3mA幅度，0.2ms宽度。
D)在当前运动状态为手掌握紧，目标状态为手臂收回时，则生成电刺激指令，具体是在脊髓上的C5外侧和C8外侧，以20Hz频率，0.3mA幅度，0.2ms宽度。
E)在当前运动状态为手臂内收，目标状态为手臂放松时，则生成电刺激指令，具体是在脊髓上的C2中央和外侧及C8外侧，以20Hz频率，0.5mA幅度，0.2ms宽度。
具体实施例如可在人体康复训练时人体执行例如抓握物体的任务，但不限于此。
具体实施中，人体上肢分为面部中心8、颈部中心9、肩关节10、肘关节11、腕关节12和手掌关节集合13。
具体实施中，在脊髓设置多个位点，从脊椎的关节C2～T1之间的人体背部设置多个阵列排布的位点，位点阵列的列方向平行于脊椎方向，位点阵列的行方向垂直于脊椎方向。具体实施中，设置三列六行的18个位点，中间列的位点位于脊椎中心线所在的背部。
具体实施中，闭环电刺激***由摄像头1、脑电采集装置、计算机3和脊髓电刺激装置7组成。摄像头1通过网络与计算机3通讯，脑电采集装置通过蓝牙与计算机3通讯，计算机3上有人体姿态估计程序、脑电信号处理程序、电刺激控制程序和人机交互界面，脊髓电刺激装置7各通道的电流参数由脊髓电刺激装置7的控制模块控制，脊髓电刺激装置7的控制模块通过蓝牙与计算机3通讯。有多种无线通讯方式可以选择，如Zig-Bee、蓝牙或wifi等。脊髓刺激装置7的锂电池通过近距离无线充电器进行充电。
摄像头1由1-3台摄像头组成，通过本地网络向计算机传输实时的人体运动图像。可选用2台普通的720P 30FPS办公用摄像头，通过局域网与计算机通讯。
计算机3内装有的人体姿态估计程序，能够加载预训练的深度学习模型，实时对人体姿态图像进行分析，确定电刺激的参数，包括电刺激的区域、电流的强度和波形，通过蓝牙通讯装置发送给脊髓电刺激装置7。人体姿态估计程序采用卷积神经网络模型，使用公开的多视角人体姿态数据集进行训练并保存训练的模型。
计算机3上的人机交互界面提供了人体当前姿态数据和运动状态的可视化监测窗口，并有调整电刺激策略的控制接口。
脊髓刺激装置7通过外科手术植入到人体颈段椎板下方，脊髓硬脊膜上方，由内置的锂电池进行供电。
如图2所示，***工作时，患者通过残存的感觉运动功能自主控制手臂做出小幅度的动作，相应地，运动意图有关的脑电信号发送给计算机3，同时患者人体形态被摄像头1捕捉并将图像发送给计算机3，计算机3上的人体姿态估计程序分析出人体当前的姿态信息，并计算人体上肢肘关节和各个指关节的坐标，角速度和角加速度传递给所述运动状态分类程序。
所述运动状态分类程序根据脑电信号和关节运动学数据判定当前运动状态及其目标状态，包括前屈上举、手臂伸展、手掌张开、手掌握紧、手臂内收和手臂放松。所述电刺激控制程序根据当前运动状态和目标状态制定电刺激策略，包括刺激的区域，电流的波形、频率和幅度，所述通讯程序将电刺激策略编码为指令发送给脊髓刺激装置7，执行相应的电刺激。
如图3所示，在康复训练准备阶段，首先应对摄像头进行标定，确定摄像头的内参和外参，包括相机相对位置、焦距等。同时使用公开的多视角人体姿态数据集训练基于卷积神经网络的姿态估计程序，在人体做出抓握训练动作时验证其有效性。
在康复训练进行阶段，摄像头通过网络向计算机实时传输患者躯体图像数据流，姿态估计程序对上人体关键点进行标注，并根据摄像头的内外参数利用多视角图像进行三维重建，计算出人体上肢关节点的三维坐标传输给电刺激控制程序。
如图4所示，常见的人体关键点集合主要由基本的解剖学关节位置组成，本***主要使用以下关键点：面部中心8，颈部中心9，肩关节10，肘关节11，腕关节12，手掌关节集合13。
可选地，手掌关节集合可根据运动状态的精细程度调整大小。例如，当设定有关手掌的运动状态仅关注手掌的张开和握紧时，手掌关节集合可只包含手掌中心和手指末端的关节；当设定有关手掌的运动状态还关注手掌闭合的形状时，手掌关节集合应包含人手指的全部关节。
如图5所示是基于深度学习的运动状态分类程序的网络结构示意图，脑电信号和运动学数据作为神经网络的输入经过初步的特征提取和融合，传递给基于全连接网络的分类器，最终输出当前运动状态及其目标状态。基于端到端的学习框架，将收集到的脑电信号与运动学数据通过预处理后，分别输入两个一维卷积神经网络中进行特征提取，再将分别对两种信号提取的特征向量经过单层神经网络合并为一个兼容的向量空间，并通过三层全连接网络进行传递，最终通过训练数据得到一个运动分类器，能够根据相应输入数据，判定并输出运动状态及对应的目标状态。
如图6所示，被试正在执行一次抓握动作，脑电信号特征由具有特定位置的空间热点表示，被试者处于S1状态时，脑电信号特征表示被试者产生运动意图，此时身体姿态特征不明显；被试者处于S2状态时，产生伸出前臂的运动意图和相应的姿态特征；被试者处于S3状态时，产生张开手掌的运动意图和相应的姿态特征；被试者处于S4状态时，被试者产生抓握的运动意图和相应的姿态特征；被试者处于S5状态时，产生收回前臂的运动意图和相应的姿态特征；被试者处于S6状态时，无运动意图和关于抓握的姿态特征。使多名被试重复进行这样的抓握动作，收集对应的脑电信号和人体姿态数据，训练如图5所示的神经网络，即可用于在康复训练中根据人体的脑电信号特征和姿态特征判断人体的当前运动状态和目标状态，作为电刺激策略制定的依据。
如图7所示，被试在执行如图6所示的抓握动作的6个状态的过程中，电刺激控制程序制定了对应于6种状态的电刺激策略S1、S2、S3、S4、S5、S6，电刺激位点表示为图中电极阵列中具有特定位置的带有阴影的矩形，电刺激的波形、脉宽、幅值和频率表示为图中上方的折现和频率值。
图中C2，C3，C5，C6，C7，C8，T1表示脊髓的对应节段，支配前肢各个肌肉的运动神经元集中分布在不同的节段上，当电刺激对应节段时，激活该区域的运动神经元支配相应骨骼肌运动，驱动前臂和手掌做出相应的动作。
如图8所示，根据人上肢各肌肉的功能和支配这些肌肉的运动神经元在脊髓第二颈段到第一胸段之间的分布情况预定义了解剖学映射，所述解剖学映射内置于所述电刺激控制程序中。
电刺激策略由一组电刺激参数决定，电刺激参数包括位点、波形、脉宽、频率、幅值，其中波形和脉宽通过已知的临床研究和预实验确定，位点由如图8所示的解剖学映射确定，频率和幅值和时间由如图9所示的闭环控制回路计算和更新，图中的特征融合模块由如图5所示的运动状态分类程序实现，根据脑电与运动学特征判断的人体当前运动状态和目标运动状态，计算机3执行闭环脊髓电刺激控制。。
电刺激时间长短与运动状态的持续时间相关；电刺激频率与目标动作关节角度相关，可以在每次康复训练前几轮根据人体情况标定，所述标定者优选是临床医生或物理治疗师。在本实施方案中，选择电刺激频率和幅值为闭环控制自整定参数，采用PID与逆动力学模型相结合的控制方法，实际运动状态与根据脑电与运动学特征判断的目标运动状态相比较得到运动状态偏差，通过PID计算出电刺激频率和幅值偏差，作为逆动力学模型的输出误差，同时使用实时的关节运动的角速度等运动学数据作为负反馈输入，然后如图中虚线所示使用误差传播的方法更新逆动力学模型的连接权系数，最后将逆动力学模型输出与PID输出之和作限幅，输出到所述脊髓刺激装置。在康复训练时，经过几轮模型更新后，逆动力学模型连接权系数将达到稳定状态。其中，动态逆动力学模型可以使用神经网络搭建，该模型建立的是电刺激频率和幅值与目标运动状态的关系。
对于动态逆动力学模型参数，通过设置不同的数值进行***仿真实验，比较其实验效果来确定。在PID反馈控制部分，PID参数可采用Cohen-Coon法、CHR法来确定。
Claims (5)
1.一种用于上肢功能恢复的闭环硬脊膜外电刺激***，其特征在于：
所述闭环硬脊膜外电刺激***包括动作捕捉装置、脑电采集装置、控制装置、脊髓电刺激装置，其中：
所述动作捕捉装置，用于实时获取多角度的人体姿态图像，并将所述人体姿态图像发送给所述控制装置；
所述脑电采集装置，用于实时获取人体的脑电信号，脑电信号经过放大和滤波后发送给所述控制装置；
所述控制装置，接收来自动作捕捉装置的人体姿态图像和来自脑电采集装置的脑电信号，进而实时处理和分析人体姿态图像中的上肢姿态数据（4）和脑电信号中的脑电信号特征（5），生成包含电刺激参数的指令并发送给所述脊髓电刺激装置；
所述脊髓电刺激装置（7），接收所述控制装置发来的包含电刺激参数的指令，向人体脊髓发送电刺激脉冲；
所述控制装置接收人体实时的姿态数据和原始脑电信号并进行预处理，生成处理后的上肢姿态数据（4）和脑电信号特征（5），再根据上肢姿态数据（4）和脑电信号特征（5）获得人体的当前运动状态和目标状态的差异，生成电刺激指令，发送给所述脊髓电刺激装置（7）；
所述控制装置存储有基于深度学习的人体姿态估计程序，能够通过深度学习模型根据所述动作捕捉装置传输的多视角的人体姿态图像标注出人体上肢的关键点，并三维重建出各个关键点的空间坐标，生成人体上肢的运动学数据作为上肢姿态数据（4）；
所述控制装置存储有脑电信号处理程序，脑电信号处理程序对所述脑电采集装置传输的原始脑电信号进行带通滤波和空间滤波后，获得脑电信号特征（5）；
所述控制装置存储有基于神经网络（6）构造的运动状态分类程序，所述运动状态分类程序根据运动学数据和脑电信号特征（5）判定人体当前的运动状态，进而获得运动状态和目标状态之间的差异；
所述控制装置存储有电刺激控制程序，电刺激控制程序内置了根据人上肢各肌肉的运动学功能和支配上肢各肌肉的运动神经元在脊髓第二颈段到第一胸段之间的分布情况所预定义解剖学映射，电刺激控制程序首先根据所述预定义的解剖学映射确定电刺激位点，然后根据当前运动状态和目标状态之间的差异处理获得具体的电刺激参数，包括电刺激脉冲的频率、幅度、宽度和个数参数，最后将所述电刺激位点和电刺激参数共同编码为电刺激指令发送给所述脊髓电刺激装置。
2.根据权利要求1所述的一种用于上肢功能恢复的闭环硬脊膜外电刺激***，其特征在于：所述动作捕捉装置主要由至少两台摄像头（1）组成，摄像头（1）从多视角采集人体上肢的图像作为人体姿态图像。
3.根据权利要求1所述的一种用于上肢功能恢复的闭环硬脊膜外电刺激***，其特征在于：所述脑电采集装置至少包括多个采集通道、一个参考通道和脑电电极阵列（2），脑电电极阵列（2）包含了多个布置在人体头部大脑的电极，每个采集通道分别连接各自的一个电极，参考通道连接一个电极并接地，采集通道的各个电极布置在不同的脑区上，采集脑区的脑电变化。
4.根据权利要求3所述的一种用于上肢功能恢复的闭环硬脊膜外电刺激***，其特征在于：所述脑电采集装置包含用于对各个通道所采集的原始电信号进行处理的前置放大器、差分放大器和模拟滤波器，各个通道所采集的原始电信号依次经前置放大、差分放大和滤波处理后输出到控制装置。
5.根据权利要求1所述的一种用于上肢功能恢复的闭环硬脊膜外电刺激***，其特征在于：所述脊髓电刺激装置（7）接收来自所述控制装置的电刺激指令，对电刺激指令中脊髓的硬脊膜上电刺激位点施加对应参数的电刺激脉冲序列，位于所述电刺激位点的运动神经元被激活，进而支配肌肉进行收缩，使上肢做出对应动作，再被动作捕捉装置和动作捕捉装置采集反馈到控制装置，不断循环往复闭环控制进行电刺激。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110534939.6A CN113426007B (zh) | 2021-05-17 | 2021-05-17 | 一种用于上肢功能恢复的闭环硬脊膜外电刺激*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110534939.6A CN113426007B (zh) | 2021-05-17 | 2021-05-17 | 一种用于上肢功能恢复的闭环硬脊膜外电刺激*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113426007A CN113426007A (zh) | 2021-09-24 |
| CN113426007B true CN113426007B (zh) | 2024-04-19 |
Family
ID=77802419
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110534939.6A Active CN113426007B (zh) | 2021-05-17 | 2021-05-17 | 一种用于上肢功能恢复的闭环硬脊膜外电刺激*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113426007B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117618777A (zh) * | 2024-01-24 | 2024-03-01 | 北京析芒医疗科技有限公司 | 运动功能恢复***及其刺激方案确定方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109453462A (zh) * | 2018-11-06 | 2019-03-12 | 苏州大学 | 一种功能性电刺激装置和*** |
| CN111973874A (zh) * | 2020-08-14 | 2020-11-24 | 北京航空航天大学 | 一种光电组合刺激装置及方法 |
| CN112754499A (zh) * | 2021-01-25 | 2021-05-07 | 中国科学院心理研究所 | 一种同步记录大脑和脊髓电生理信号的***与方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4378520A1 (en) * | 2015-12-22 | 2024-06-05 | Ecole Polytechnique Fédérale de Lausanne (EPFL) | System for selective spatiotemporal stimulation of the spinal cord |
-
2021
- 2021-05-17 CN CN202110534939.6A patent/CN113426007B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109453462A (zh) * | 2018-11-06 | 2019-03-12 | 苏州大学 | 一种功能性电刺激装置和*** |
| CN111973874A (zh) * | 2020-08-14 | 2020-11-24 | 北京航空航天大学 | 一种光电组合刺激装置及方法 |
| CN112754499A (zh) * | 2021-01-25 | 2021-05-07 | 中国科学院心理研究所 | 一种同步记录大脑和脊髓电生理信号的***与方法 |
Non-Patent Citations (1)
| Title |
|---|
| 王永骥等.《 硬脊膜外脊髓电刺激器的实验设计》.《中国临床康复》.2006,第10卷(第29期),118-120. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113426007A (zh) | 2021-09-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109394476B (zh) | 脑肌信息自动意图识别与上肢智能控制方法及*** | |
| CN107397649B (zh) | 一种基于径向基神经网络上肢外骨骼运动意图识别方法 | |
| CN101961527B (zh) | 一种结合功能性电刺激和机器人的康复训练***和训练方法 | |
| US9238137B2 (en) | Neuromuscular stimulation | |
| CN102727361B (zh) | 坐卧式下肢康复机器人 | |
| Loconsole et al. | An EMG-based approach for on-line predicted torque control in robotic-assisted rehabilitation | |
| CN107928980A (zh) | 一种偏瘫患者的手部自主康复训练***及训练方法 | |
| US20020161415A1 (en) | Actuation and control of limbs through motor nerve stimulation | |
| CN111584031B (zh) | 基于便携式脑电采集设备的脑控智能肢体康复***及应用 | |
| CN111584030A (zh) | 基于深度学习和复杂网络的意念控制智能康复***及应用 | |
| Chen et al. | Neucuberehab: A pilot study for eeg classification in rehabilitation practice based on spiking neural networks | |
| Hu et al. | EEG-based classification of upper-limb ADL using SNN for active robotic rehabilitation | |
| CN113426007B (zh) | 一种用于上肢功能恢复的闭环硬脊膜外电刺激*** | |
| CN110908506B (zh) | 仿生智能算法驱动的主被动一体化康复方法、装置、存储介质和设备 | |
| Abougarair et al. | Real time classification for robotic arm control based electromyographic signal | |
| Zhuang et al. | A neuromuscular electrical stimulation strategy based on muscle synergy for stroke rehabilitation | |
| CN108543216A (zh) | 一种基于主从控制的手部功能重建装置及其实现方法 | |
| Wang et al. | Lower limb motion recognition based on surface electromyography signals and its experimental verification on a novel multi-posture lower limb rehabilitation robots☆ | |
| CN113730190A (zh) | 一种三维空间运动的上肢康复机器人*** | |
| Wang et al. | Research progress of rehabilitation exoskeletal robot and evaluation methodologies based on bioelectrical signals | |
| CN113476799B (zh) | 基于肌电和惯性信息的手部训练及评估方法 | |
| CN209253488U (zh) | 一种全仿生类脑智能手部电子机械外骨骼及其控制*** | |
| Resquín et al. | Combining a hybrid robotic system with a bain-machine interface for the rehabilitation of reaching movements: A case study with a stroke patient | |
| CN114767463A (zh) | 一种基于表面肌电的意识控制运动康复***及其方法 | |
| Zhou et al. | Electromyographic Bridge—A multi-movement volitional control method for functional electrical stimulation: Prototype system design and experimental validation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |