CN114176920A - 一种基于脑电控制的智能轮椅 - Google Patents
一种基于脑电控制的智能轮椅 Download PDFInfo
- Publication number
- CN114176920A CN114176920A CN202111567673.1A CN202111567673A CN114176920A CN 114176920 A CN114176920 A CN 114176920A CN 202111567673 A CN202111567673 A CN 202111567673A CN 114176920 A CN114176920 A CN 114176920A
- Authority
- CN
- China
- Prior art keywords
- electroencephalogram
- control
- wheelchair
- main controller
- brain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
- A61G5/00—Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs
- A61G5/04—Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs motor-driven
- A61G5/041—Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs motor-driven having a specific drive-type
- A61G5/045—Rear wheel drive
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47K—SANITARY EQUIPMENT NOT OTHERWISE PROVIDED FOR; TOILET ACCESSORIES
- A47K10/00—Body-drying implements; Toilet paper; Holders therefor
- A47K10/48—Drying by means of hot air
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47K—SANITARY EQUIPMENT NOT OTHERWISE PROVIDED FOR; TOILET ACCESSORIES
- A47K7/00—Body washing or cleaning implements
- A47K7/08—Devices or hand implements for cleaning the buttocks
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
- A61B5/02055—Simultaneously evaluating both cardiovascular condition and temperature
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
- A61B5/14542—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring blood gases
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
- A61G5/00—Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs
- A61G5/10—Parts, details or accessories
- A61G5/1002—Parts, details or accessories with toilet facilities
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
- A61G5/00—Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs
- A61G5/10—Parts, details or accessories
- A61G5/1051—Arrangements for steering
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
- A61G2203/00—General characteristics of devices
- A61G2203/10—General characteristics of devices characterised by specific control means, e.g. for adjustment or steering
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
- A61G2203/00—General characteristics of devices
- A61G2203/10—General characteristics of devices characterised by specific control means, e.g. for adjustment or steering
- A61G2203/14—Joysticks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/02—Preprocessing
- G06F2218/04—Denoising
- G06F2218/06—Denoising by applying a scale-space analysis, e.g. using wavelet analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Cardiology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Physiology (AREA)
- Pulmonology (AREA)
- Optics & Photonics (AREA)
- Epidemiology (AREA)
- Psychiatry (AREA)
- Psychology (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
一种基于脑电控制的智能轮椅,包括脑机接口***和电动轮椅,所述脑机接口***包括脑电信号采集设备和上位机,所述电动轮椅安装有主控制器(3)、运动控制组件、护理功能组件和生命信息采集模块;所述脑电信号采集设备将采集的F7、F8通道脑电信号进行滤波后发送至上位机,所述上位机对脑电信号依次进行预处理、特征提取和分类识别后,转码为运动控制指令并发送至运动控制组件的蓝牙通讯模块;运动控制组件还包括电机驱动模块,所述蓝牙通讯模块和电机驱动模块均连接至主控制器(3),主控制器(3)能够控制电机驱动模块驱动电动轮椅后端的两个驱动轮(4)。解决了现有轮椅功能简单、人机交互差、用户实现生活自理困难的问题,更加智能化。
Description
技术领域
本发明涉及医疗保健装备技术领域,具体涉及一种基于脑电控制的智能轮椅。
背景技术
目前,由于疾病与意外事故的频发,下肢损伤及功能受限的患者仍然普遍且大量存在,轮椅也因此有着日渐强烈的需求;并且随着科技水平的提高和智能产品的普及,人们对轮椅的功能和智能化需求也相应增加。脑电信号(electroencephalogram,EEG)是反映人或动物在进行大脑思维活动或进行动作时产生的神经冲动。这种具有生物电特性的神经冲动可通过信号采集设备获取,并将其以波形的方式进行直观的显示。针对丧失行为移动能力的残疾人,选择合适的脑电信号控制模式,并对他们的控制意图进行反复刺激训练,经过脑-机接口***分析处理后,获取相应的特征信号,并对其转化为相关的运动控制指令,可以实现与外界的沟通联系。
目前,普遍使用的普通轮椅在使用时经常需要依赖他人的帮助,不仅十分耗费体力,而且非常不便利,对使用者的行动时间和行动范围产生了极大的限制作用;而现有的电动轮椅产品普遍存在人机接口不友好、操作不方便、安全性低等缺点。另外,无论是普通轮椅还是电动轮椅,目前市场上大多数产品功能单一,无法满足使用者对多种不同功能的需求,很难实现使用者独自行动和生活自理的要求。
发明内容
本发明的目的是提供一种基于脑电控制的智能轮椅,解决了现有技术中存在的大多数轮椅功能简单,人机交互差,智能化***还较少应用于轮椅方面,用户实现生活自理还存在着很大的困难的问题。
本发明的技术方案如下:
一种基于脑电控制的智能轮椅,包括脑机接口***和电动轮椅,所述脑机接口***包括脑电信号采集设备和上位机,所述电动轮椅安装有主控制器、运动控制组件、护理功能组件和生命信息采集模块;
所述脑电信号采集设备将采集的F7、F8通道脑电信号进行滤波后发送至上位机,所述上位机对脑电信号依次进行预处理、特征提取和分类识别后,转码为运动控制指令并发送至运动控制组件的蓝牙通讯模块;
所述运动控制组件还包括电机驱动模块,所述蓝牙通讯模块和电机驱动模块均连接至主控制器,所述主控制器能够控制电机驱动模块,从而驱动电动轮椅后端的两个驱动轮;
所述护理功能组件和生命信息采集模块均连接至主控制器,所述护理功能组件能够辅助使用者排便,所述生命信息采集模块能够采集各类生命信息监测设备的信息并发送至主控制器;
预处理的步骤如下:
(1)定义上位机接收的脑电信号为f(t),对信号f(t)进行n层小波分解;
(2)对小波变换进行阈值处理;
(3)利用处理后的各分量进行小波重构,得到去噪后的信号f(t);
特征提取的步骤如下:
(1)对信号f(t)进行离散小波变换:
定义a为尺度因子,b为平移因子,Ψj,k(t)为某一带通滤波器的特征, a=2-j,b=2-jk,离散小波变换为:
Wf(j,k)=<f(t),ψj,k(t)>
对任意的f(t)∈L2(R),存在唯一的展开式:
(2)对cj,k采用塔式多分辨分解与重构;
(3)建立脑电信号的AR模型。
(4)构建小波能量熵比值特征向量:小波能量熵比值特征向量WEE为:
基于以上信号特征提取过程,本***确定通过采集F7、F8通道的脑电信号对基于运动想象模式下的左右脚运动构建小波能量熵比值特征向量并进行了特征提取。
分类识别的步骤如下:
(1)选用小波能量熵比值特征向量作为***分类识别信号;
(2)计算支持向量机(SVM)的分割间隔,即两类支持向量的差在W上的投影;
(3)使间隔最大化,完成对信号的分类识别。
脑电控制策略为:
人脑通过想象左、右手或脚的运动分别来控制电动轮椅的左转和右转,通过想象双手或脚同时运动来控制电动轮椅的前进。人脑在想象时,脑部的不同位置会产生不同的脑电信号,首先通过脑电信号采集设备对原始脑电信号进行数据的采集,将这些原始脑电信号数据导入上位机对其进行预处理及特征提取等分析处理后,再根据提取出的特征信号进行分类识别,即采用分类算法识别脑电信号,最后转化为控制外部设备的具体运动控制指令。
进一步的,所述AR模型中,包括输入u(n)和线性***H(z),由输入u(n) 激励线性***H(z)输出脑电信号x(n),根据已知x(n)来估计H(z)的参数,再由H(z) 的参数来估计x(n)的功率谱,u(n)与x(n)的关系表达式为:
其中,u(n)是均值为0且方差为σ2的白噪声序列,p为AR模型的阶数,ak为k阶AR模型的参数。若模型的参数ak(k=1.....p)和u(n)的方差已知,H(z)的表达式和x(n)功率谱分别如下:
进一步的,在分类识别步骤中,两类支持向量的差在W上的投影为:
求得间隔为:
使间隔最大化:
进一步的,所述电动轮椅的扶手上设置有摇杆,所运动控制组件还包括摇杆控制模块,所述摇杆控制模块连接至主控制器,所述摇杆控制模块安装于摇杆中。如果使用者的手臂可正常活动,可通过操纵摇杆来控制电动轮椅的运动。而且,他人还可通过脑机接口***的上位机直接操控电动轮椅运动,即本发明共有三种运动控制方式:脑电控制方式、摇杆控制方式和上位机控制方式。
进一步的,所述扶手上安装有HMI串口触摸显示屏,所述HMI串口触摸显示屏通过串口与主控制器连接,所述HMI串口触摸显示屏具有触控功能。该HMI 串口触摸显示屏能够通过触摸实现对护理功能组件进行操控和状态查看,以及展示生命信息采集模块采集的信息,能够更好地实现人机交互。
进一步的,所述生命信息采集模块包括协调器和终端节点,所述协调器连接至主控制器,所述协调器通过ZigBee无线通信网与终端节点连接,所述终端节点能够采集各类生命信息监测设备的信息。
优选的,所述协调器和终端节点采用的ZigBee无线通信模组芯片均为 CC2530芯片。
优选的,所述主控制器采用PIC18F87K22芯片,电机驱动模块采用H桥电机驱动电路驱动电动轮椅后端的两个驱动轮,所述PIC18F87K22芯片的引脚10 定义为PWM1,引脚8定义为PWM2,PWM1和PWM2分别连接至H桥电机驱动电路,PWM1和H桥电机驱动电路间及PWM2和H桥电机驱动电路间连接有 TLP181光电耦合器。
进一步的,所述护理功能组件安装在电动轮椅的座位下方,所述护理功能组件包括可开关马桶盖、储水箱、加热水箱和马桶箱,所述座位中央开孔且该开孔对准可开关马桶盖,所述可开关马桶盖下方连接马桶箱,所述马桶箱的底面与加热水箱的顶面紧贴,所述加热水箱的底面与储水箱的顶面紧贴,所述加热水箱与储水箱通过上水管连通,所述马桶箱内安装有喷头,所述喷头与加热水箱连通。喷头和加热水箱的设计让使用者能够在便后使用温水冲洗。
进一步的,所述马桶箱内还设置有排气扇、烘干扇和打包袋,可消除异味。
本发明的有益效果在于:
(1)本发明在脑电信号的信号处理方面提出了Wavelet-AR-SVM(小波-自回归-支持向量机)方式完成脑电信号的特征提取和分类识别方法,提高了脑电信号的识别率与准确率,为今后脑电信号处理研究提供了新的思路与方法。
(2)本发明在运动控制方式方面融合了脑电控制方式、摇杆控制方式和上位机控制方式,为移动不便人群提供了全方位多种类的控制方式,对今后实现轮椅的集成控制有重要意义。
(3)另外,本发明在电动轮椅运动的基础上,可进行人体生命特征信息采集,开发了大小便清洁护理功能和人体生命体征参数检测功能,使***功能更加丰富和完善。
附图说明
通过阅读下文优选实施方式的详细描述,本申请的方案和优点对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。
在附图中:
图1为本发明实施例1的智能轮椅***整体框图;
图2为实施例1的***运行流程图;
图3为实施例1的电动轮椅结构图;
图4为实施例1的马桶结构图;
图5为实施例1的脑电帽的16通道位置图;
图6为实施例1的想象左右脚运动特征提取数据图;
图7为实施例1的支持向量机对信号间隔最大化超平面分类图;
图8为实施例1的主控制器电路图;
图9为实施例1的H桥电机驱动电路图;
图10为实施例1的触摸显示屏电路设计原理图;
图11为实施例1的CC2530芯片原理图;
图12为实施例1的风温水温加热检测电路图;
图13为实施例1的喷杆水阀风扇水泵驱动电路图。
图中各附图标记所代表的组件为:
1、推手,2、靠背,3、主控制器,4、驱动轮,5、前轮,6、踏板,7、摇杆,8、扶手,81、HMI串口触摸显示屏,9、座位,10、可开关马桶盖,11、储水箱,12、加热水箱,13、排气扇,14、烘干扇,15、喷头,16、打包袋,17、马桶箱,18、上水管。
具体实施方式
下面将结合附图更详细地描述本公开的示例性实施方式。需要说明,提供这些实施方式是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员,可以以各种形式实现本公开,而不应被这里阐述的实施方式所限制。
实施例1
参见图1和图2,图1为本发明实施例1的智能轮椅***整体框图,该脑电控制的智能轮椅,包括脑机接口***和电动轮椅,所述脑机接口***包括脑电信号采集设备和上位机,所述电动轮椅安装有主控制器3、运动控制组件、护理功能组件和生命信息采集模块;
所述脑电信号采集设备将采集的F7、F8通道脑电信号进行滤波后发送至上位机,所述上位机对脑电信号依次进行预处理、特征提取和分类识别后,转码为运动控制指令并发送至运动控制组件的蓝牙通讯模块;
所述运动控制组件还包括电机驱动模块,所述蓝牙通讯模块和电机驱动模块均连接至主控制器3,所述主控制器3能够控制电机驱动模块,从而驱动电动轮椅后端的两个驱动轮4;
所述护理功能组件和生命信息采集模块均连接至主控制器3,所述护理功能组件能够辅助使用者排便,所述生命信息采集模块能够采集各类生命信息监测设备的信息并发送至主控制器3。
脑电控制策略为:
人脑通过想象左、右手或脚的运动分别来控制电动轮椅的左转和右转,通过想象双手或脚同时运动来控制电动轮椅的前进。本发明提出的脑机接口***和电动轮椅,基于上述脑电控制策略,提供了一种脑电控制方式。由于人的运动想象 (Motor Imagery,MI)具有自发性的特点,使用者可以根据自己的意愿来使用。这种脑电控制方式需要具有自发性的特点并且所需的控制指令数量不需要太多,基于以上两个特点,我们选择在(8-14Hz)和(14-30Hz)波段使用事件相关同步电位和事件相关去同步电位进行开发。一般情况下,使用者想象左右手或脚的运动来控制轮椅的左转、右转和向前运动。在本发明的控制策略上,选用想象左右脚运动来控制轮椅的运动。通过想象左右脚的运动分别来控制轮椅的左转和右转,想象双脚同时运动来控制轮椅的前进。
本发明的工作原理是,人脑在想象时,脑部的不同点位会产生不同的脑电信号。当使用者想象左手动或左腿动、右手动或右腿动,双手动或双腿动时,人体大脑皮层的运动感知功能区的脑电信号会产生较大幅值的变化。其中有两种变化最为明显的脑电节律,分别为μ节律和β节律。这两种节律分别在8-14Hz和 14-30Hz两个频段上表现最为明显,在电位上的变化就表现出了事件相关去同步 /事件相关同步(ERD/ERS)。
参见图1、图2和图5,脑电信号采集设备的感应电极接收这种脑电信号,对信号进行放大滤波以后,通过无线传输方式如蓝牙,传输到上位机,然后上位机通过用C#编写的上位机分析处理软件对脑电信号进行预处理、特征提取等处理,再根据提取出的特征信号进行分类识别,即采用分类算法识别脑电信号,最后融合转化为控制外部设备的具体的运动控制指令,通过蓝牙串口发送至蓝牙通讯模块,进而下发给电动轮椅的主控制器3,进而进行轮椅的运动控制,以实现各种功能。同时,上位机还可通过蓝牙串口接收主控制器3通过蓝牙通讯模块上传的数据,如终端节点所采集的心电、体温、血氧浓度数据,也包括运动控制组件和护理功能组件的一些反馈信号,这些数据、信号均由主控制器3汇总后通过蓝牙通讯模块上传,并通过上位机进行处理。另外,终端节点可以布置多个,将终端节点加入ZigBee无线通信网络后,数据的传输便不受线缆的束缚,而且具有实时性和可靠性高的特点。
针对丧失行为移动能力的人,选择合适的脑电信号控制模式,并对他们的控制意图进行反复刺激训练,经过脑机接口***分析处理后,获取相应的特征信号,并对其转化为相关的运动控制指令,能够实现与外界的沟通联系。
其中,本实施例选用Epoc+脑电帽,Epoc+脑电帽提供了专业级的脑电数据,能够进行可扩展升级的脑电***研究,具有使用简单快捷的特点。其外形尺寸为9*15*15厘米,支持多操作平台,其采样率2048内部下可以采样到128SPS或 256SPS,可由用户自行配置。内置低功耗蓝牙传输数据及内置锂电池提供电源。 14位分辨率,带宽为0.16-43Hz,50Hz和60Hz的数字陷波滤波器并且内置数字5 阶Sinc滤波器,可以实现对脑电信号采集的滤波过滤。
参见图6,为脑电帽的16通道位置,该设备由16个传感器组成,14导EEG 通道的名称分别为AF3,F7,F3,FC5,T7,P7,O1,O2,P8,T8,FC6,F4,F8,AF4,2个参考电极通道CMS/DRL降噪配置P3和P4通道。电极的导联指的是利用其组合的多样性进行各种方式的记录,本实施例使用双极导联法,采用两个位于头皮上的活动电极,用这两个电极记录下脑电位的差值,使干扰最小化,减少其他生物电信号的干扰,从而使减少波形的失真。为减少噪声之间的传导耦合,电极导联线采用长度小于50厘米的屏蔽线。
预处理采用小波去噪的方法。小波变换是在傅里叶变换的基础上发展而来的,是一种时间-尺度分析方法,也称为时频分析法。
预处理的步骤如下:
(1)定义上位机接收的脑电信号为f(t),对信号f(t)进行n层小波分解;利用下式对原始含噪信号f(t)进行j尺度正交小波变换,得到各层上的小波系数和尺度系数。
(2)对小波变换进行阈值处理;利用信号与噪声的不同特性,比较原始信号的小波系数和所选定的阈值,将小于阈值小波系数变为零,大于等于阈值的小波系数保持不变。
(3)利用处理后的各分量进行小波重构,得到去噪后的信号f(t)。
本发明中的特征提取,主要是对脑电信号进行小波变换然后基于AR模型进行频谱分析得出运动想象的特征信号。具体的,借助小波变换的多分辨率分析,在不同分辨率上对脑电信号中产生的异常和伪迹进行分析检测。根据小波分析方法的这些特性,通过母小波的伸缩、平移来逼近信号,并对小波变换域的多个分辨率进行投影分析,进而提取所需脑电信号的特征信号。
特征提取的步骤如下:
(1)对信号f(t)进行离散小波变换:
定义a为尺度因子,b为平移因子,Ψj,k(t)为某一带通滤波器的特征, a=2-j,b=2-jk,离散小波变换为:
Wf(j,k)=<f(t),ψj,k(t)>
对任意的f(t)∈L2(R),存在唯一的展开式:
(2)对cj,k采用塔式多分辨分解与重构;
cj,k为能量有限的信号f在分辨率2m下的近似,则cj,k可以进一步分解为f 在分辨率2m-1下的近似cm-1,k,以及位于分辨率2m-1与2m之间的细节dm-1,k之和。小波重构过程与小波分解过程类似,
小波分解算法如下:
小波重构算法如下:
(3)建立脑电信号的AR模型。人的运动想象的脑电信号的事件相关去同步/ 事件相关同步(ERD/ERS)现象与脑电信号的频带有很大的关系。整体上,运动想象脑电信号在8-14Hz和14-30Hz的频带范围内具有较好ERD/ERS现象。小波变换的能量特征提取基于脑电信号的ERD/ERS现象,由于脑电信号的μ节律和β节律在功率谱上表现为谱峰,因此AR模型适用于描述运动想象脑电的功率谱。
一般的,在AR模型中,包括输入u(n)和线性***H(z),由输入u(n)激励线性***H(z)输出脑电信号x(n),根据已知x(n)来估计H(z)的参数,再由H(z)的参数来估计x(n)的功率谱,u(n)与x(n)的关系表达式为:
其中,u(n)是均值为0且方差为σ2的白噪声序列,p为AR模型的阶数,ak为k阶AR模型的参数。若模型的参数ak(k=1.....p)和u(n)的方差已知,H(z)的表达式和x(n)功率谱分别如下:
(4)构建小波能量熵比值特征向量:对功率谱信号f(t)在J尺度上的小波能量 E={Ej,j=1,2…J},则在尺度域上E可以形成对信号能量的一种划分。由正交小波变换的特性可知,在某一时间窗(窗宽为w∈N)内信号总功率E等于各分量功率Ej之和。小波能量熵比值特征向量WEE为:
基于以上信号特征提取过程,本***确定通过采集F7、F8通道的脑电信号对基于运动想象模式下的左右脚运动构建小波能量熵比值特征向量并进行了特征提取。
脑电信号的分类识别,是通过分类算法把脑电信号转换为控制命令,分类识别的步骤如下:
(1)选用小波能量熵比值特征向量作为***分类识别信号;小波能量熵比值法构建的特征向量具有很好的分类正确率,具备特征性。
(2)计算支持向量机(SVM)的分割间隔,即两类支持向量的差在W上的投影;支持向量机(SVM)是一种二分类模型,其具有超强的学***面来分割样本,使分割的间隔最大化。两类支持向量的差在W上的投影为:
求得间隔为:
(3)使间隔最大化,完成对信号的分类识别。
参见图7,间隔最大化,其实就是已经完成了信号的分类,这是因为不同信号产生间隔,进而完成了信号分类。本发明采用的小波能量熵比值法和支持向量机两者结合的方法来处理信号。对运动想象的脑电数据进行特征提取,可以构建小波能量熵差值特征向量、小波能量熵比值特征向量,把360组实验数据分为两组:train和test,每组都有180次数据,以train作为训练样本集,训练分类器,以test作为测试样本集,对分类器进行分类测试,得到如下分类结果。根据下表,在分类正确率上,小波能量熵比值法比小波能量熵差值法正确率高。本***采用小波能量熵比值法和支持向量机结合处理信号所实现的分类准确率为最高的 78.93%。
表1支持向量机分类器结果
进一步的,所述电动轮椅的扶手8上设置有摇杆7,所运动控制组件还包括摇杆控制模块,所述摇杆控制模块连接至主控制器3,所述摇杆控制模块安装于摇杆7中。如果使用者的手臂可正常活动,可通过操纵摇杆7来控制电动轮椅的运动。而且,他人还可通过脑机接口***的上位机直接操控电动轮椅运动,即本发明共有三种运动控制方式:脑电控制方式、摇杆控制方式和上位机控制方式。上位机可以是手机、平板、电脑,上位机负责进行数据分析处理,能够实时显示终端节点采集的信息。
参见图1和图10,所述扶手8上安装有HMI串口触摸显示屏81,所述HMI 串口触摸显示屏81通过串口与主控制器3连接,所述HMI串口触摸显示屏81 具有触控功能。该HMI串口触摸显示屏81能够通过触摸实现对护理功能组件进行操控和状态查看,以及展示生命信息采集模块采集的信息,能够更好地实现人机交互。该设备相比于传统的液晶屏如12864等,在界面设计上具有更人性化和丰富的开发界面,集成了触摸按键功能,相比于普通的按键控制,使用更流畅更便捷。该设备供电电压为4.75V-7V,通讯接口电压为3.3V和5V TTL电平。该设备是16位真彩色RGB显示,支持多种组态控件如按钮、文本、进度条等空间,支持BMP、JPG等图片格式,还可以进行设备固件自动升级,具有操作简单,控制方便的特点。相比于普通的显示屏节约了主控的引脚使用,简化了程序编写的复杂程度。其主控芯片为STM32F030C8T6,为***开发流畅性提供了保障。HMI 串口触摸显示屏81一方面是用来进行护理功能组件的控制操作以及查看各部分状态,另一方面来显示人体生命特征信息参数。其人机交互界面程序是使用 USART HMI上位机进行程序界面设计的,通过串口连接主控制器3进行数据上传和控制命令的下发。
参见图2,进一步的,所述生命信息采集模块包括协调器和终端节点,所述协调器连接至主控制器3,所述协调器通过ZigBee无线通信网与终端节点连接,所述终端节点能够采集各类生命信息监测设备的信息,采集的信息包括心电、体温和血氧浓度。
优选的,为了实现ZigBee无线通信,所述协调器和终端节点采用的ZigBee 无线通信模组芯片均为CC2530芯片。协调器在本***中一方面用来收终端节点上传的人体生命特征参数,另一方面用来将接收到的数据发送给电动轮椅的主控制器3。本***使用的CC2530芯片为集成了ZigBee无线通讯模块的8051芯片,所以***在终端节点部分可直接使用CC2530芯片为该部分的控制器来分别采集体温、心率和血氧等人体生命特征参数。一旦上传数据发生异常会进行报警提醒,使得医护人员和家属能及时进行相应问题的处理。针对使用者进行长期的生命特征信息监控,以来分析使用者的身体基本生命特征状况。
参见图11,CC2530芯片在2.4GHz的ISM中具有广泛的应用,其片上***解决方案在基于IEEE 802.15.4的标准协议中建立比较方便容易,并且其建立的无线通信网络具有传输稳定,信噪比大,丢包率小,功耗低适应能力强的特点。
参见图9,优选的,所述主控制器3采用PIC18F87K22芯片,电机驱动模块采用大功率MOS管搭建H桥电机驱动电路驱动电动轮椅后端的两个驱动轮4,所述PIC18F87K22芯片的引脚10定义为PWM1,引脚8定义为PWM2,PWM1 和PWM2分别连接至H桥电机驱动电路,PWM1和H桥电机驱动电路间及 PWM2和H桥电机驱动电路间连接有TLP181光电耦合器,在很大程度上消除了信号干扰的影响。通过控制PWM占空比的大小来控制两个驱动轮4的转速来控制轮椅的移动速度,通过控制两个驱动轮4的转动速度和方向来控制轮椅移动的前进、后退、左转和右转。
PIC18F87K22芯片是一款采用nanoWattXLP技术的80引脚高性能1Mb增强型闪存MCU。该芯片程序存储器闪存为128K字节,单字节指令数为65536,数据存储器SRAM为4K字节,EEPROM为1K字节,具有多达10个CCP/ECCP模块,多达7个捕捉/比较/PWM模块,3个增强型捕捉/比较/PWM模块,多达11个8/16 位定时器/计数器模块,3个模拟比较器,可配置参考时钟输出,4个外部中断, 2个主同步串口模块,支持3/4线SPI,支持I2C主/从模式,2个增强型可寻址 USART模块,具有24路通道的12位A/D转换器且可以进行自动采集和休眠操作,差分输入模式操作。该芯片工作电压为1.8V到5.5V。该系列器件在保持极具竞争力的价格的同时,融合了PIC18单片机固有的优点,采用纳瓦技术具有超低功耗休眠、BOR、RTCC和看门狗定时器。该芯片具有时钟故障监视器,保证了***的稳定运行。
参见图8,设计主控电路必须要完成基本的连接要求来保证MCU能正常稳定的工作。第一,所有的VDD与VSS引脚以及AVDD与AVSS引脚上加上去耦电容,去耦电容使用规格为0.1uF耐压10~20V的无极性电容。第二,主复位引脚MCLR,该引脚的功能为器件复位和器件的编程与调试。在不需要进行编程的情况下该引脚直接接引VDD即可。本控制器需要进行程序的编写和调试,所以需要添加电阻和电容来完成此功能。第三,稳压器引脚ENVREG和VCAP/VDDCORE,片上稳压器使能引脚ENVREG必须始终直接连接到电源电压或接地。将ENVREG连接到VDD 会使能稳压器,而将其接地会禁止稳压器。第四,编程调试引脚PGC和PGD,这两个引脚用于在线编程和调试,需要进行程序的擦写需要将这两个引脚引出。第五,外部震荡引脚,振荡器电路应放到电路板上与器件相同的一侧。将振荡器电路靠近相关振荡器引脚放置,且电路元件与引脚之间的距离不要超过0.5英寸。负载电容应在电路板的同一侧挨着振荡器本身放置。最后,将本控制器所需要的引脚进行引出。
参见图3和图4,所述轮椅包括推手1、靠背2、主控制器3、驱动轮4、前轮5、踏板6、摇杆7、扶手8和座位9,所述护理功能组件安装在电动轮椅的座位9下方,所述护理功能组件包括可开关马桶盖10、储水箱11、加热水箱12 和马桶箱17,所述座位9中央开孔且该开孔对准可开关马桶盖10,所述可开关马桶盖10下方连接马桶箱17,所述马桶箱17的底面与加热水箱12的顶面紧贴,所述加热水箱12的底面与储水箱11的顶面紧贴,所述加热水箱12与储水箱11 通过上水管18连通,所述马桶箱17内安装有喷头15,所述喷头15与加热水箱 12连通。喷头15和加热水箱12的设计让使用者能够在便后使用温水冲洗。
进一步的,所述马桶箱17内还设置有排气扇13、烘干扇14和打包袋16,可消除异味。护理功能组件还包括马桶盖控制电路、喷头控制电路,水路转换电路,水泵流量控制电路,风温、水温检测电路,水位检测电路,除臭电路,大小便打包处理电路,上述排气扇13、烘干扇14及各电路受主控制器3控制。
下面结合图4、图9、图12和图13,马桶盖控制电路能够控制马桶盖的开关、开度以及开关速度,其电路与H桥电机驱动电路一致。喷头控制电路用来控制喷头15的喷水位置和喷头杆往复运动清洗,水路转换电路主要用来控制喷头 15出水口清洗和物化喷嘴的转换,水泵流量控制电路主要用来控制喷头15出水流量来适应不同使用者的使用习惯。轮椅内部设计两个水箱:储水箱11、加热水箱12,通过控制加热水箱12的水温来控制清洗水温。水位检测电路主要是用来检测两个水箱内液位上限和下限,以防止出现水位过高水箱内液体溢出和水位过低时水箱内加热管出现干烧的情况。***物打包处理电路主要用来对***物进行打包式处理避免***物外漏和气体扩散。风温、水温检测电路主要对使用者排便结束时实现根据设定自己舒适的温度进行暖风烘干,控制清洗时的水温。
通过本实施例的方案,本发明在脑电信号的信号处理方面提出了 Wavelet-AR-SVM(小波-自回归-支持向量机)方式完成脑电信号的特征提取和分类识别方法,提高了脑电信号的识别率与准确率,为今后脑电信号处理研究提供了新的思路与方法。
在运动控制方式方面融合了脑电控制方式、摇杆控制方式和上位机控制方式,为移动不便人群提供了全方位多种类的控制方式,对今后实现轮椅的集成控制有重要意义。
本发明在电动轮椅运动的基础上,可进行人体生命特征信息采集,开发了大小便清洁护理功能和人体生命体征参数检测功能,使***功能更加丰富和完善。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或增减替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种基于脑电控制的智能轮椅,其特征在于,包括脑机接口***和电动轮椅,所述脑机接口***包括脑电信号采集设备和上位机,所述电动轮椅安装有主控制器(3)、运动控制组件、护理功能组件和生命信息采集模块;
所述脑电信号采集设备将采集的F7、F8通道脑电信号进行滤波后发送至上位机,所述上位机对脑电信号依次进行预处理、特征提取和分类识别后,转码为运动控制指令并发送至运动控制组件的蓝牙通讯模块;
所述运动控制组件还包括电机驱动模块,所述蓝牙通讯模块和电机驱动模块均连接至主控制器(3),所述主控制器(3)能够控制电机驱动模块,从而驱动电动轮椅后端的两个驱动轮(4);
所述护理功能组件和生命信息采集模块均连接至主控制器(3),所述护理功能组件能够辅助使用者排便,所述生命信息采集模块能够采集各类生命信息监测设备的信息并发送至主控制器(3);
预处理的步骤如下:
(1)定义上位机接收的脑电信号为f(t),对信号f(t)进行n层小波分解;
(2)对小波变换进行阈值处理;
(3)利用处理后的各分量进行小波重构,得到去噪后的信号f(t);
特征提取的步骤如下:
(1)对信号f(t)进行离散小波变换:
定义a为尺度因子,b为平移因子,Ψj,k(t)为某一带通滤波器的特征,a=2-j,b=2-jk,离散小波变换为:
Wf(j,k)=<f(t),ψj,k(t)>
对任意的f(t)∈L2(R),存在唯一的展开式:
(2)对cj,k采用塔式多分辨分解与重构;
(3)建立脑电信号的AR模型。
(4)构建小波能量熵比值特征向量:小波能量熵比值特征向量WEE为:
分类识别的步骤如下:
(1)选用小波能量熵比值特征向量作为***分类识别信号;
(2)计算支持向量机(SVM)的分割间隔,即两类支持向量的差在W上的投影;
(3)使间隔最大化,完成对信号的分类识别。
脑电控制策略为:
人脑通过想象左、右手或脚的运动分别来控制电动轮椅的左转和右转,通过想象双手或脚同时运动来控制电动轮椅的前进。
4.根据权利要求1所述的一种基于脑电控制的智能轮椅,其特征在于,所述电动轮椅的扶手(8)上设置有摇杆(7),所运动控制组件还包括摇杆控制模块,所述摇杆控制模块连接至主控制器(3),所述摇杆控制模块安装于摇杆(7)中。
5.根据权利要求1所述的一种基于脑电控制的智能轮椅,其特征在于,所述扶手(8)上安装有HMI串口触摸显示屏(81),所述HMI串口触摸显示屏(81)通过串口与主控制器(3)连接,所述HMI串口触摸显示屏(81)具有触控功能。
6.根据权利要求1所述的一种基于脑电控制的智能轮椅,其特征在于,所述生命信息采集模块包括协调器和终端节点,所述协调器连接至主控制器(3),所述协调器通过ZigBee无线通信网与终端节点连接,所述终端节点能够采集各类生命信息监测设备的信息。
7.根据权利要求6所述的一种基于脑电控制的智能轮椅,其特征在于,所述协调器和终端节点采用的ZigBee无线通信模组芯片均为CC2530芯片。
8.根据权利要求1所述的一种基于脑电控制的智能轮椅,其特征在于,所述主控制器(3)采用PIC18F87K22芯片,电机驱动模块采用H桥电机驱动电路驱动电动轮椅后端的两个驱动轮(4),所述PIC18F87K22芯片的引脚10定义为PWM1,引脚8定义为PWM2,PWM1和PWM2分别连接至H桥电机驱动电路,PWM1和H桥电机驱动电路间及PWM2和H桥电机驱动电路间连接有TLP181光电耦合器。
9.根据权利要求1所述的一种基于脑电控制的智能轮椅,其特征在于,所述护理功能组件安装在电动轮椅的座位(9)下方,所述护理功能组件包括可开关马桶盖(10)、储水箱(11)、加热水箱(12)和马桶箱(17),所述座位(9)中央开孔且该开孔对准可开关马桶盖(10),所述可开关马桶盖(10)下方连接马桶箱(17),所述马桶箱(17)的底面与加热水箱(12)的顶面紧贴,所述加热水箱(12)的底面与储水箱(11)的顶面紧贴,所述加热水箱(12)与储水箱(11)通过上水管(18)连通,所述马桶箱(17)内安装有喷头(15),所述喷头(15)与加热水箱(12)连通。
10.根据权利要求9所述的一种基于脑电控制的智能轮椅,其特征在于,所述马桶箱(17)内还设置有排气扇(13)、烘干扇(14)和打包袋(16)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111567673.1A CN114176920A (zh) | 2021-12-20 | 2021-12-20 | 一种基于脑电控制的智能轮椅 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111567673.1A CN114176920A (zh) | 2021-12-20 | 2021-12-20 | 一种基于脑电控制的智能轮椅 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114176920A true CN114176920A (zh) | 2022-03-15 |
Family
ID=80544625
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111567673.1A Pending CN114176920A (zh) | 2021-12-20 | 2021-12-20 | 一种基于脑电控制的智能轮椅 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114176920A (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103349595A (zh) * | 2013-07-16 | 2013-10-16 | 杭州电子科技大学 | 基于多模式分层控制的脑机接口智能轮椅 |
US20160228705A1 (en) * | 2015-02-10 | 2016-08-11 | Neuropace, Inc. | Seizure onset classification and stimulation parameter selection |
CN107961120A (zh) * | 2017-12-08 | 2018-04-27 | 中国电子科技集团公司第二十七研究所 | 一种基于脑电控制的智能轮椅控制*** |
CN111584027A (zh) * | 2020-04-30 | 2020-08-25 | 天津大学 | 融合复杂网络和图卷积的脑控康复***运动想象识别*** |
CN112426162A (zh) * | 2020-11-23 | 2021-03-02 | 重庆邮电大学 | 一种基于脑电信号节律熵的疲劳检测方法 |
CN113281047A (zh) * | 2021-03-09 | 2021-08-20 | 北京工业大学 | 一种基于变尺度Lempel-Ziv的轴承内外圈故障定量趋势诊断方法 |
-
2021
- 2021-12-20 CN CN202111567673.1A patent/CN114176920A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103349595A (zh) * | 2013-07-16 | 2013-10-16 | 杭州电子科技大学 | 基于多模式分层控制的脑机接口智能轮椅 |
US20160228705A1 (en) * | 2015-02-10 | 2016-08-11 | Neuropace, Inc. | Seizure onset classification and stimulation parameter selection |
CN107961120A (zh) * | 2017-12-08 | 2018-04-27 | 中国电子科技集团公司第二十七研究所 | 一种基于脑电控制的智能轮椅控制*** |
CN111584027A (zh) * | 2020-04-30 | 2020-08-25 | 天津大学 | 融合复杂网络和图卷积的脑控康复***运动想象识别*** |
CN112426162A (zh) * | 2020-11-23 | 2021-03-02 | 重庆邮电大学 | 一种基于脑电信号节律熵的疲劳检测方法 |
CN113281047A (zh) * | 2021-03-09 | 2021-08-20 | 北京工业大学 | 一种基于变尺度Lempel-Ziv的轴承内外圈故障定量趋势诊断方法 |
Non-Patent Citations (2)
Title |
---|
杜勇: "基于脑电控制的智能护理轮椅***研究与设计", no. 2019, pages 3 - 51 * |
胡剑锋;穆振东;肖丹;: "基于能量熵的运动想象脑电信号分类", 计算机工程与应用, no. 33 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105078445B (zh) | 基于健康服务机器人的老年人健康服务*** | |
CN105078449B (zh) | 基于健康服务机器人的老年痴呆症监护*** | |
CN107788976A (zh) | 基于振幅整合脑电图的睡眠监测*** | |
CN101897640B (zh) | 一种新型的基于运动想象脑电控制的智能轮椅*** | |
CN105279387B (zh) | 一种面向孤独症谱系障碍儿童的执行功能评测与训练*** | |
CN104758130B (zh) | 一种基于脑机接口的智能护理装置及方法 | |
Liu et al. | The PennBMBI: Design of a general purpose wireless brain-machine-brain interface system | |
CN204971278U (zh) | 基于健康服务机器人的老年痴呆症监护*** | |
CN206044622U (zh) | 一种可穿戴心电采集*** | |
CN103263324A (zh) | 基于ssvep稳态视觉诱发电位的智能轮椅*** | |
CN209712905U (zh) | 用于家庭睡眠监测的便携式多模态生理电信号监护*** | |
CN109276808A (zh) | 基于视频运动捕捉的多模态脑卒中上肢康复训练*** | |
CN107212883B (zh) | 一种基于脑电控制的机械臂写字装置及控制方法 | |
CN106236081A (zh) | 基于dsp、arm的便携式脑电仪 | |
CN109394173A (zh) | 一种智能治疗器的控制方法及*** | |
CN110275621A (zh) | 基于眼电信号控制的助障活动平台 | |
CN204971271U (zh) | 基于健康服务机器人的老年人健康服务*** | |
CN210121136U (zh) | 一种心电脉搏监测马桶 | |
CN115137324A (zh) | 一种基于云-边-端架构的人体心脏健康监护*** | |
CN113359991B (zh) | 一种面向残疾人的智能脑控机械臂辅助进食***及方法 | |
CN105125186A (zh) | 一种确定干预治疗方式的方法及*** | |
CN114176920A (zh) | 一种基于脑电控制的智能轮椅 | |
CN112578682A (zh) | 一种基于眼电控制的智能助障家居*** | |
CN203776891U (zh) | 一种基于蓝牙4.0ble的移动心电图监测*** | |
CN105701439A (zh) | 一种采用脑肌心电信号识别情绪、感觉和生理需求的装置及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |