CN108646726A - 基于脑电波的轮椅控制方法以及结合语音的轮椅控制*** - Google Patents

基于脑电波的轮椅控制方法以及结合语音的轮椅控制*** Download PDF

Info

Publication number
CN108646726A
CN108646726A CN201810290117.6A CN201810290117A CN108646726A CN 108646726 A CN108646726 A CN 108646726A CN 201810290117 A CN201810290117 A CN 201810290117A CN 108646726 A CN108646726 A CN 108646726A
Authority
CN
China
Prior art keywords
wheelchair
module
brain wave
signal
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810290117.6A
Other languages
English (en)
Inventor
柳平增
王祥龙
崔宁宁
徐琳
柳建增
刘哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANDONG MANHING FOOD CO Ltd
Shandong Qilong Agel Ecommerce Ltd
Shandong Agricultural University
Original Assignee
SHANDONG MANHING FOOD CO Ltd
Shandong Qilong Agel Ecommerce Ltd
Shandong Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHANDONG MANHING FOOD CO Ltd, Shandong Qilong Agel Ecommerce Ltd, Shandong Agricultural University filed Critical SHANDONG MANHING FOOD CO Ltd
Priority to CN201810290117.6A priority Critical patent/CN108646726A/zh
Publication of CN108646726A publication Critical patent/CN108646726A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/418Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/4185Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by the network communication
    • G05B19/41855Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by the network communication by local area network [LAN], network structure
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/418Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/4189Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by the transport system
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0242Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D13/00Control of linear speed; Control of angular speed; Control of acceleration or deceleration, e.g. of a prime mover
    • G05D13/62Control of linear speed; Control of angular speed; Control of acceleration or deceleration, e.g. of a prime mover characterised by the use of electric means, e.g. use of a tachometric dynamo, use of a transducer converting an electric value into a displacement
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/20Pc systems
    • G05B2219/26Pc applications
    • G05B2219/2637Vehicle, car, auto, wheelchair
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了基于脑电波的轮椅控制方法以及结合语音的轮椅控制***,轮椅控制方法通过将采集的脑电波进行滤波、特征提取和信号分类后转化为轮椅控制信号控制轮椅行动;轮椅控制***包括轮椅行进电机、处理器模块、语音模块、电机驱动模块、障碍检测模块、路况检测模块、第一通讯模块组;还包括脑电波采集装置和终端机控制装置;脑电波检测装置包括脑电波采集处理模块和第二通讯模块;终端机装置包括手机和服务器。本发明使得轮椅使用者可以通过脑电波、语音或手动方式控制轮椅行动,可以将轮椅使用者的轮椅控制意识转化为语音信息,并且在轮椅行进过程中进行障碍物和路况检测以及播报,从而提高轮椅控制的自动化、智能化、安全性以及可靠性。

Description

基于脑电波的轮椅控制方法以及结合语音的轮椅控制***
技术领域
本发明属于适用于病人或残疾人的运输工具领域,特别涉及基于脑电波的轮椅控制方法以及结合语音的轮椅控制***。
背景技术
轮椅是行动不便的老年人、病人或者残疾人的重要出行工具,对于上述人群,很多情况下,其不仅存在行走障碍,同时手部也不能很好的对轮椅的行动进行控制,或者单纯用手部控制轮椅行动十分吃力。这样一来,若要实现出行要求就需要借助他人的帮助,从而降低了出行自由度。
发明内容
本发明要解决的技术问题是,提供了基于脑电波的轮椅控制方法以及结合语音的轮椅控制***,利用物联网和智能控制技术,轮椅使用者通过脑电波、语音或手动方式控制轮椅行进,同时可以将轮椅使用者的轮椅控制意识转化为语音信息,并且在轮椅行进过程中进行障碍物和路况检测以及播报,从而提高轮椅控制的自动化、智能化、安全性以及可靠性。
为解决上述技术问题,本发明基于脑电波的轮椅控制方法的技术方案是:
基于脑电波的轮椅控制方法,包括以下步骤:
S1:采集轮椅使用者的脑电波信号,过滤掉周围噪音以及电力信号干扰后将所述脑电波信号转换为脑电波数据信号;
S2:采用平均滤波算法对经步骤S1处理后的脑电波数据信号进行滤波;
S3:采用周期图法对经步骤S2处理后的脑电波数据信号进行特征提取;
S4:采用线性判别分析对经步骤S3处理后的脑电波数据信号进行信号分类;
S5:将经步骤S4处理后的脑电波数据信号转换为轮椅控制信号。
在上述技术方案中,采集轮椅使用者的原始脑电波信号,过滤掉周围噪音以及电力信号干扰,便于将其转换为脑电波数据信号后的进一步处理;使用平均值滤波算法对脑电波数据信号进行滤波,能够改进计算量和内存占用,当采样次数较大时平滑度好;采用线性判别分析对脑电波数据信号进行信号分类,根据不同的运动或者意识能够是脑电活动产生不同响应的特性来确定运动或意识的类型与特征信号之间的关系;之后便将脑电数据信号转化为轮椅控制信号,从而使轮椅按照使用者的运动或者意识进行行动。本技术方案利用轮椅使用者的脑电波信号即可控制轮椅行动,提高了对轮椅控制的自动化和智能化。
作为优选,根据所述轮椅使用者的专注度控制轮椅的行进速度,这种方式能够更准确且快速的根据轮椅使用者的意念对轮椅的速度进行控制,提高了利用脑电波对轮椅进行控制的智能化和控制效果以及舒适度。
为解决上述技术问题,本发明脑电波结合语音的轮椅控制***所采用的技术方案是:
脑电波结合语音的轮椅控制***,包括设置于轮椅上的轮椅行进电机、处理器模块以及分别与所述处理器模块连接的语音模块、电机驱动模块、障碍检测模块、路况检测模块以及第一通讯模块组,所述电机驱动模块同时与所述轮椅行进电机相连接,所述轮椅行进电机同时与轮椅行动轮连接;还包括脑电波采集装置以及终端机控制装置;所述脑电波采集装置包括脑电波采集模块脑电波采集模块8以及与所述脑电波采集模块脑电波采集模块8连接的第二通讯模块;所述终端机装置包括手机和与所述手机无线连接的服务器,所述手机上安装有用于轮椅控制的应用软件,所述服务器用于将所述应用软件接收的用于控制轮椅的语音信息进行云处理然后传输至所述手机并在所述手机上形成特定指令;所述第一通讯模块组能够与所述第二通讯模块和所述手机分别进行无线通讯。
在上述技术方案中,首先可以通过脑电波采集模块脑电波采集模块8采集轮椅使用者的脑电波信号,过滤掉周围噪音以及电力信号干扰,然后将脑电波信号转换为脑电波数据信号,脑电波数据信号由第二通讯模块传输至第一通讯模块组,进而被传输至处理器模块,处理器模块采用平均滤波算法对脑电波数据信号进行滤波、采用周期图法对脑电波数据信号进行特征提取、采用线性判别分析对脑电波数据信号进行信号分类,最后将脑电波数据信号转化为相应的模块控制信号并传输至电机驱动模块或者语音模块,电机驱动模块根据接收到的控制信号控制轮椅行进电机的运转情况,轮椅行进电机控制轮椅的行动轮的行动,也就是控制轮椅的行动这样便实现了对轮椅的脑电波信号控制,并且语音模块采用语音合成将接收到的控制信号转换为语音信号并进行播报,也就相当于将轮椅使用者对轮椅的控制意念转化成了语音信息,也便于他人了解轮椅使用者的想法,特别是针对行动和讲话具有困难的轮椅使用者;其次,语音模块还集成有语音识别功能,轮椅使用者可以直接向语音模块发音,语音模块将轮椅使用者的语音信号转换为相应指令,然后这些指令被传输至处理器模块,处理器模块对这些指令进行校验和分析处理后转化为相应的控制信号并传输至电机驱动模块,由电机驱动模块控制轮椅行进电机的运转情况;再次,轮椅使用者可以打开手机的轮椅控制应用软件然后说出轮椅控制语音命令,轮椅控制语音命令被传输至服务器进行云处理后返回本地手机并在本地手机生成与轮椅控制语音命令相对应的特定指令,这些特定指令被传输至第一通讯模块组,进而被传输至处理器模块,处理器模块对这些特定指令进行校验和分析处理后转化为相应的控制信号并传输至电机驱动模块,由电机驱动模块控制轮椅行进电机的运转情况;轮椅使用者还可以通过按动不同的手机按键来触发相应的轮椅指令,同样的,这些轮椅指令被传输至服务器进行云处理后返回本地手机并在本地手机生成相对应的特定指令,这些特定指令被传输至第一通讯模块组,进而被传输至处理器模块,处理器模块对这些特定指令进行校验和分析处理后转化为相应的控制信号并传输至电机驱动模块,由电机驱动模块控制轮椅行进电机的运转情况;最后,鉴于轮椅行进过程中可能会面对各种障碍物以及复杂路况,本技术方案设置了障碍检测模块和路况检测模块,当障碍检测模块检测轮到椅行进方向有障碍物时发送信号给处理器模块,处理器模块向电机驱动模块和语音模块发出控制信号,进而语音模块进行障碍物播报;当路况较差时,路况检测模块发送信号给处理器模块,处理器模块向语音模块发出控制信号,进而语音模块进行路况提醒。本技术方案结合物联网和智能控制技术,轮椅使用者能够通过脑电波、语音或手动等方式控制轮椅的行动,对于行动或讲话不便的人群都可比较方便地使用,并且在其中某些控制方式出现故障或者错误的时候,还可以使用其他的控制方式进行重新控制或者纠正,同时可以将轮椅使用者的轮椅控制意识转化为语音信息,并且能够在轮椅行进过程中进行障碍物和路况检测以及播报,从而提高轮椅控制的自动化、智能化以及安全性;本技术方案在***功能规划的基础上,基于模块化的思想,将整个轮椅智能控制***分为若干模块,各模块相互独立,结构清晰,程序简明扼要,便于后期修改和维护,能够降低生产成本,提高生产效率。
作为本发明技术方案的进一步改进,所述脑电波采集模块脑电波采集模块8 包括脑电波传感器,所述脑电波传感器与所述第二通讯模块连接,脑电波传感器可以检测到极微弱的脑电信号,便于准确获取使用者的意念表示,同时能够过滤掉周围噪音以及电力信号干扰,便于处理器模块对脑电信号进行进一步处理。
作为本发明技术方案的进一步改进,所述障碍检测模块包括依次连接的红外线二极管、红外接收管、集成芯片、电压比较器以及LED发光管,障碍检测模块与处理器模块通过常用手段连接起来以实现两者的信息数据往来,障碍检测模块采用抗干扰型高性能红外障碍检测模块,障碍检测模块根据有无障碍物来输出高低电平信号,处理器模块通过检测障碍检测模块输出的高低电平信号来自动发出控制信号,一方面控制轮椅的行进状态,另一方面控制语音模块发出提醒,从而进一步提高轮椅的使用安全性。
作为本发明技术方案的进一步改进,所述路况检测模块包括与所述处理器模块连接的震动传感器,所述震动传感器根据路面状况输出高低电平信号,经模数转换后传输至处理器模块,处理器模块通过设置下降沿检测中断来检测路况环境是否引起轮椅较大程度的震动,并在震动达到一定程度后发出控制信号控制语音模块发出提醒,进一步提高了轮椅的使用安全性。
综上,本发明基于脑电波的轮椅控制方法以及结合语音的轮椅控制***能够提高轮椅控制的自动化、智能化、安全性以及可靠性,帮助行动不便人群实现“身随脑动,说走就走”的目标;并且便于后期修改和维护,能够降低生产成本,提高生产效率。
附图说明
图1是人正常眨眼脑波信号。
图2是人正常咬牙脑波信号。
图3是人在0.5秒内连续眨眼两次所产生的脑波信号。
图4是专注度脑波信号。
图5是电机驱动电路图。
图6是轮椅的逻辑功能图。
图7是本发明轮椅控制***的示意图。
图中:1,处理器模块;2,语音模块;3,电机驱动模块;4,障碍检测模块;5,路况检测模块;6,第一通讯模块组;7,第二通讯模块;8,脑电波采集模块;9,手机;10,服务器。
具体实施方式
本发明提供了基于脑电波的轮椅控制方法,包括如下步骤:
S1:采集轮椅使用者的脑电波信号,过滤掉周围噪音以及电力信号干扰后将脑电波信号转换为脑电波数据信号;在脑电提取的信号中,共有12种不同的脑电信号,其中包括RAW WAVE原始脑波、Delta、Theta、Low Alpha、High Alpha、 Low Beta、High Beta、LowGamma、Mid Gamma、Noise、Attention、Mediation,在这12种不同的脑电波信号中,以RAWWAVE、Attention通道采集的脑波信号作为基准信号,为脑波处理信号的首选;
S2:采用平均滤波算法对经步骤S1处理后的脑电波数据信号进行滤波;
定义采样值C、累加器S、平均值A、采样次数N,
初始化A=初始值,S=A*N,S=S-A+C,平均值A=S/N;
此算法的思想为平均值滤波,改进了运算量和内存占用,当N值较大时平滑度好;
S3:采用周期图法对经步骤S2处理后的脑电波数据信号进行特征提取;
对特征进行提取用周期图法,不需计算自相关函数,而直接由傅里叶变换得到。把随机信号x(n)的N点采集数据xN(n)视为一有限能量信号,直接取xN(n) 的傅里叶变换得xN(ejw),然后取其幅值的平方,并除以N,作为对x(n)真实功率谱P(ejw)的估计,在w上间隔取值,得
Pper(k)=1/N|XN(k)|2
其中Pper(k)表示为用周期法估计出的功率谱;
获取到脑电功率谱密度并找到特征值进行分析,通过特征向量表示不同脑电信号对应的不同状态;
S4:采用线性判别分析对经步骤S3处理后的脑电波数据信号进行信号分类;
特征信号分类是根据不同的运动或意识能够使脑电活动产生不同响应的特性来确定运动或意识的类型与特征信号之间的关系;采用线性判别分析来使同类样本尽可能聚集在一起,不同类样本尽可能远,通过给定的测试数据,确定投影方向W和阈值y0,即确定线性判别函数,然后根据这个线性判别函数,对测试数据进行测试,最后得到测试数据的类别;
其中,W的确定方式为:
各类样本均值向量mi
样本类内离散度矩阵Si和总类内离散度矩阵Sw
Sw=S1+S2
样本类间离散度矩阵Sb=(m1-m2)(m1-m2)T
在投影后的一维空间中,各类样本均值mi’=WTmi;样本类内离散度和总类内离散度Si’=WTSiWSWW;样本类间离散度Sb’=WTSbW。
线性判别分析的两个重要性质为:
I.各类样本内部尽可能密集,即总类内离散度越小越好。
II.各类样本尽可能离得远,即样本类间离散度越大越好。
根据这个性质确定准则函数,根据使准则函数取得最大值,可求出W:
W=Sw-1(m1-m2)
阈值y0的确定方式为:
y0=(m1’+m2’)/2
线性判别分析的决策规划
对于某一个未知类别的样本向量x,如果y=WTx>y0,则x∈w1;否则x∈w2;再进行归一化处理就可以判断出测试数据的类别,同时完成样本分类;
S5:将经步骤S4处理后的脑电波数据信号转换为轮椅控制信号。
在上述轮椅控制方法中,根据轮椅使用者的专注度控制轮椅的行进速度,专注度的高低可以直接从轮椅控制信号中得到。
上述基于脑电波的轮椅控制方法利用轮椅使用者的脑电波信号即可控制轮椅行动,例如,正常的眨眼信号不会对轮椅产生轮椅控制信号,在短时间内,例如0.5s内连续眨眼两次则可以控制轮椅行进方向,通过咬牙来打开轮椅前进的开关;在轮椅行进过程中,根据使用者的专注度控制轮椅行进的速度,专注度越高,行进速度越快;人正常眨眼脑波信号如图1所示。人正常咬牙脑波信号如图2所示,人在0.5秒内连续眨眼两次所产生的脑波信号如图3所示;专注度脑波信号如图4所示。
如图7所示,本发明脑电波和语音结合的轮椅控制***包括轮椅行进电机、处理器模块1以及分别与处理器模块1连接的语音模块2、电机驱动模块3、障碍检测模块4、路况检测模块5以及第一通讯模块组6,上述部件或者模块均设置于轮椅上,电机驱动模块3同时与轮椅行进电机相连接,轮椅行进电机同时与轮椅行动轮连接;还包括脑电波采集装置以及终端机控制装置;脑电波采集装置包括脑电波采集模块8以及与脑电波采集模块8连接的第二通讯模块7;终端机装置包括手机9和与手机9无线连接的服务器10,手机9上安装有用于轮椅控制的应用软件,服务器10用于将应用软件接收的用于控制轮椅的语音信息进行云处理然后传输至手机9并在手机9上形成特定指令;第一通讯模块组6 能够与第二通讯模块7和手机9分别进行无线通讯。
下面通过具体实施例对本发明脑电波结合语音的轮椅控制***进行具体说明:
该脑电波结合语音的轮椅控制***包括设置于轮椅上的轮椅行进电机、处理器模块1以及分别与处理器模块1连接的语音模块2、电机驱动模块3、障碍检测模块4、路况检测模块5以及第一通讯模块组6,电机驱动模块3同时与轮椅行进电机相连接,轮椅行进电机同时与轮椅行动轮连接。
其中语音模块2用于进行语音合成、语音识别、语音播报以及接收轮椅语音控制信息,其采用XFS5152语音合成模块,可实现中文、英文语音合成,还创新性地集成了语音识别功能,支持30个命令词的识别;处理器模块1通过串口与语音模块2进行通信。
轮椅行进电机包括两个直流电机,分别与轮椅的两个行动轮连接,用于驱动轮椅行动轮运行;电机驱动模块3用于控制轮椅行进电机的运转,其内部集成了双极型H-桥电路,通过内部逻辑生成使能信号;H-桥电路的输入量可以用来设置马达转动方向,使能信号可以用于脉宽调整(PWM);每个电机需要3个控制信号ENA/B、IN1、IN2,其中ENA/B是使能信号,IN1、IN2为电机转动方向控制信号,IN1、IN2分别为1,0时,电机正转,反之,电机反转;选用一路 PWM连接ENA/B引脚,通过调整PWM的占空比可以调整电机的转速;处理器模块 1发送相应的PWM控制波形来控制电机驱动模块3芯片,驱动芯片再通过对相关引脚的闭合来控制两直流电机的运动;电机驱动电路图如图5所示,轮椅的逻辑功能图如图6所示。
障碍检测模块4模块用于进行障碍检测,其采用抗干扰型高性能红外障碍检测,包括依次连接的红外线二极管、红外接收管、集成芯片、电压比较器以及LED发光管,当前方有障碍物时,红外线二极管发出信号,经红外接收管接收回,集成芯片放大,电压比较器比较后,点亮模块上的LED发光管,并输出低电平,处理器模块1通过检测低电平信号的输入来向电机驱动模块3和语音模块2输出相应的控制信号从而控制轮椅的行进以及进行语音提醒。
路况检测模块5用于进行路况检测,其使用SW-1801P震动传感器,当路况平稳时,震动开关呈断开状态,输出端输出高电平,震动指示灯不亮;当路况不好导致传感器振动时,震动开关瞬间导通,震动指示灯亮、输出端输出低电平信号;处理器模块1通过设置下降沿检测中断来检测路况环境是否引起轮椅较大程度的震动,当震动信号产生,处理器模块1向语音模块2输出相应的控制信号,语音模块2提示使用者需要注意当前路况,小心行驶。
脑电波采集装置包括脑电波采集模块8以及与脑电波采集模块8连接的第二通讯模块7。
脑电波采集模块8用于对脑电波进行采集以及预处理,其选用ThinkGear TGAM脑电波传感器,可以从大脑中检测512Hz原始脑电信号,对原始脑电信号进行预处理,即过滤掉周围其他噪音及电力信号干扰后转换为脑电波数据信号,脑电波数据信号由第二通讯模块7传输至第一通讯模块组6,进而被传输至处理器模块1;由于蓝牙的自组网特性,在本实施例中,利用蓝牙技术实现第一通讯模块组6和第二通讯模块7之间的通讯工作,第一通讯模块组6包括蓝牙模块,蓝牙模块作为主设备连接处理器模块1,第二通讯模块7使用蓝牙技术,其作为从属设备连接脑电波采集模块8,第一通讯模块组6中的蓝牙模块和第二通讯模块7组成微微网(Piconet);脑电波采集模块8和第二通讯模块7可以集成于一个脑电波采集帽。
终端机装置包括手机9和与手机9无线连接的服务器10,手机9用于接收轮椅语音控制信息以及对轮椅进行手动控制,手机9上安装有用于轮椅控制的应用软件,在应用软件界面,服务器10用于将手机9接收的用于控制轮椅的语音信息进行云处理然后传输至手机9并在手机9上形成特定指令;这些特定指令被传输至第一通讯模块组6,进而被传输至处理器模块1;在本实施例中,第一通讯模块组6和手机9之间采用WiFi进行通讯,第一通讯模块组6还包括WiFi 模块,WiFi模块通过串口连接处理器模块1,WIFI模块选用基于UART接口的WIFI无线网络模块,能够实现用户串口数据到无线网络之间的交换;通过串口 WiFi模块,传统的串口设备就能接入无线网络;WiFi模块与手机9之间通信,使用的是ASCII码,手机9把编码变为ASCII码进行发射,UART-WIFI模块会接收ASCII码并产生中断给处理器模块1;此WIFI模块可以通过终端像普通路由器一样设置和修改密码,也可以通过配置软件进行修改和设置,有比较不错的安全性能。
对于该脑电波结合语音的轮椅控制***,可以通过脑电波采集模块8采集轮椅使用者的512Hz原始脑电信号,过滤掉周围噪音以及电力信号干扰,然后将脑电波信号转换为脑电波数据信号,脑电波数据信号由第二通讯模块7传输至第一通讯模块组6,进而被传输至处理器模块1,TGAM芯片大约每秒钟发送 513个包,发送的包有小包和大包两种:小包的格式是AA AA 04 80 02 High、 Low、Check Sum(前面的AA AA 04 80 02是帧头,后三个字节为数据和校验和) High和Low组成了原始数据raw_data,Check Sum是校验和。
获取到一组原始数据,首先应该先对校验和进行检验。公式:
sum=((0x80+0x02+High+Low)^0xFFFFFFFF)&0xFF
如果sum和Check Sum是相等的,那说明这个包是正确的,然后再去计算raw_data,否则直接忽略这个包。
小包分析法解析原始数据:
raw_data=(High<<8)|Low;
if(raw_data>32768){raw_data=65536;}
处理器模块1作为信息处理平台,利用处理器模块1对脑电波数据信号进行处理,其型号可以采用MSP430F5438A,设置集成外设:模拟比较器、DMA、硬件乘法器、SVS(电源电压监控模块)、12位DAC。
利用处理器模块1对脑电波数据信号进行处理包括以下步骤:
(1)采用平均滤波算法对脑电波数据信号进行滤波;
定义采样值C、累加器S、平均值A、采样次数N,
初始化A=初始值,S=A*N,S=S-A+C,平均值A=S/N;
此算法的思想为平均值滤波,改进了运算量和内存占用,当N值较大时平滑度好;
(2)采用周期图法对经步骤(1)处理后的脑电波数据信号进行特征提取;
对特征进行提取用周期图法,不需计算自相关函数,而直接由傅里叶变换得到。把随机信号x(n)的N点采集数据xN(n)视为一有限能量信号,直接取xN(n) 的傅里叶变换得xN(ejw),然后取其幅值的平方,并除以N,作为对x(n)真实功率谱P(ejw)的估计,在w上间隔取值,得
Pper(k)=1/N|XN(k)|2
其中Pper(k)表示为用周期法估计出的功率谱;
获取到脑电功率谱密度并找到特征值进行分析,通过特征向量表示不同脑电信号对应的不同状态;
(3)采用线性判别分析对经步骤(2)处理后的脑电波数据信号进行信号分类;
特征信号分类是根据不同的运动或意识能够使脑电活动产生不同响应的特性来确定运动或意识的类型与特征信号之间的关系;采用线性判别分析来使同类样本尽可能聚集在一起,不同类样本尽可能远,通过给定的测试数据,确定投影方向W和阈值y0,即确定线性判别函数,然后根据这个线性判别函数,对测试数据进行测试,最后得到测试数据的类别;
其中,W的确定方式为:
各类样本均值向量mi
样本类内离散度矩阵Si和总类内离散度矩阵Sw
Sw=S1+S2
样本类间离散度矩阵Sb=(m1-m2)(m1-m2)T
在投影后的一维空间中,各类样本均值mi’=WTmi;样本类内离散度和总类内离散度Si’=WTSiWSWW;样本类间离散度Sb’=WTSbW。
线性判别分析的两个重要性质为:
I.各类样本内部尽可能密集,即总类内离散度越小越好。
II.各类样本尽可能离得远,即样本类间离散度越大越好。
根据这个性质确定准则函数,根据使准则函数取得最大值,可求出W:
W=Sw-1(m1-m2)
阈值y0的确定方式为:
y0=(m1’+m2’)/2
线性判别分析的决策规划
对于某一个未知类别的样本向量x,如果y=WTx>y0,则x∈w1;否则x∈w2;再进行归一化处理就可以判断出测试数据的类别,同时完成样本分类;
(4)将经步骤(3)处理后的脑电波数据信号转换为模块控制信号,该模块控制信号即为轮椅控制信号,用于控制轮椅控制***中的相应模块。
模块控制信号被传输至电机驱动模块3或者语音模块2,电机驱动模块3根据接收到的控制信号控制轮椅行进电机的运转情况,轮椅行进电机则与轮椅的行动轮相连,这样便实现了对轮椅的脑电波信号控制,例如,正常的眨眼信号不会对轮椅产生模块控制信号,在短时间内,例如0.5s内连续眨眼两次则可以控制轮椅行进方向,通过咬牙来打开轮椅前进的开关;在轮椅行进过程中,根据使用者的专注度控制轮椅行进的速度,专注度越高,行进速度越快。
语音模块2采用语音合成将接收到的控制信号转换为语音信号并进行播报,也就相当于将轮椅使用者对轮椅的控制意念转化成了语音信息,也便于他人了解轮椅使用者的想法,特别是针对行动和讲话具有困难的轮椅使用者。
语音模块2还集成有语音识别功能,轮椅使用者可以直接向语音模块2发音,例如使用者发出“开”、“前”、“后”、“左”、“右”、“快”、“慢”、“停”等指令,语音模块2将轮椅使用者的语音信号转换为相应指令,然后这些指令被传输至处理器模块1,处理器模块1对这些指令进行校验和分析处理后转化为相应的控制信号并传输至电机驱动模块3,由电机驱动模块3控制轮椅行进电机的运转情况。
轮椅使用者可以打开手机9的轮椅控制应用软件然后说出轮椅控制语音命令,轮椅控制语音命令被传输至服务器10进行云处理后返回本地手机9并在本地手机9生成与轮椅控制语音命令相对应的特定指令,这些特定指令被传输至第一通讯模块组6,进而被传输至处理器模块1,处理器模块1对这些特定指令进行校验和分析处理后转化为相应的控制信号并传输至电机驱动模块3,由电机驱动模块3控制轮椅行进电机的运转情况;轮椅使用者还可以通过按动不同的手机9按键来触发相应的轮椅指令,同样的,这些轮椅指令被传输至服务器10 进行云处理后返回本地手机9并在本地手机9生成相对应的特定指令,这些特定指令被传输至第一通讯模块组6,进而被传输至处理器模块1,处理器模块1 对这些特定指令进行校验和分析处理后转化为相应的控制信号并传输至电机驱动模块3,由电机驱动模块3控制轮椅行进电机的运转情况。
当障碍检测模块4检测轮到椅行进方向有障碍物时发送信号给处理器模块 1,处理器模块1向电机驱动模块3和语音模块2发出控制信号,进而语音模块 2进行障碍物播报;当路况较差时,路况检测模块5发送信号给处理器模块1,处理器模块1向语音模块2发出控制信号,进而语音模块2进行路况提醒。
为保障用户的唯一性,提高***安全性,本实施例中的轮椅控制应用软件采用人脸识别进行***登录,具体来说即采用区域特征分析算法,将计算机图像处理技术与生物统计学原理融合于一体,利用计算机图像处理技术从视频中提取人像21个特征点,通过生物统计学的原理进行分析建立数学模型并得到人脸特征模板。同时,利用已建成的人脸特征模板与被测者的人的面像进行特征分析,根据分析的结果给出一个相似值,通过这个值即可确定是否为同一人;本实施例中的轮椅控制应用软件利用现有技术进行开发。
上述具体实施方式和实施例中的***的各个部分或者模块之间的连接或者通讯方式除特别说明外可以采用现有技术,例如电连接或者串行、并行通讯,为了上述具体实施方式的进行可能用到的一些技术,例如模数转换或者数模转换等同样可以利用现有技术,在具体实施方式中不再做详细说明。
上面结合附图和具体实施方式以及实施例对本发明进行了进一步的说明,但本发明并不限于上述具体实施方式和实施例,在本领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (6)

1.基于脑电波的轮椅控制方法,其特征在于,包括以下步骤:
S1:采集轮椅使用者的脑电波信号,过滤掉周围噪音以及电力信号干扰后将所述脑电波信号转换为脑电波数据信号;
S2:采用平均滤波算法对经步骤S1处理后的脑电波数据信号进行滤波;
S3:采用周期图法对经步骤S2处理后的脑电波数据信号进行特征提取;
S4:采用线性判别分析对经步骤S3处理后的脑电波数据信号进行信号分类;
S5:将经步骤S4处理后的脑电波数据信号转换为轮椅控制信号。
2.根据权利要求1所述的基于脑电波的轮椅控制方法,其特征在于,根据所述轮椅使用者的专注度控制轮椅的行进速度。
3.脑电波结合语音的轮椅控制***,其特征在于,包括设置于轮椅上的轮椅行进电机、处理器模块(1)以及分别与所述处理器模块(1)连接的语音模块(2)、电机驱动模块(3)、障碍检测模块(4)、路况检测模块(5)以及第一通讯模块组(6),所述电机驱动模块(3)同时与所述轮椅行进电机相连接,所述轮椅行进电机同时与轮椅行动轮连接;
还包括脑电波采集装置以及终端机控制装置;
所述脑电波采集装置包括脑电波采集模块(8)以及与所述脑电波采集模块(8)连接的第二通讯模块(7);
所述终端机装置包括手机(9)和与所述手机(9)无线连接的服务器(10),所述手机(9)上安装有用于轮椅控制的应用软件,所述服务器(10)用于将所述手机(9)接收的用于控制轮椅的语音信息进行云处理然后传输至所述手机(9)并在所述手机(9)上形成特定指令;
所述第一通讯模块组(6)能够与所述第二通讯模块(7)和所述手机(9)分别进行无线通讯。
4.根据权利要求3所述的脑电波结合语音的轮椅控制***,其特征在于,所述脑电波采集模块(8)包括脑电波传感器,所述脑电波传感器与所述第二通讯模块(7)连接。
5.根据权利要求3所述的脑电波结合语音的轮椅控制***,其特征在于,所述障碍检测模块(4)包括依次连接的红外线二极管、红外接收管、集成芯片、电压比较器以及LED发光管。
6.根据权利要求3所述的脑电波结合语音的轮椅控制***,其特征在于,所述路况检测模块(5)包括与所述处理器模块(1)连接的震动传感器,所述震动传感器根据路面状况输出高低电平信号。
CN201810290117.6A 2018-04-03 2018-04-03 基于脑电波的轮椅控制方法以及结合语音的轮椅控制*** Pending CN108646726A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810290117.6A CN108646726A (zh) 2018-04-03 2018-04-03 基于脑电波的轮椅控制方法以及结合语音的轮椅控制***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810290117.6A CN108646726A (zh) 2018-04-03 2018-04-03 基于脑电波的轮椅控制方法以及结合语音的轮椅控制***

Publications (1)

Publication Number Publication Date
CN108646726A true CN108646726A (zh) 2018-10-12

Family

ID=63745562

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810290117.6A Pending CN108646726A (zh) 2018-04-03 2018-04-03 基于脑电波的轮椅控制方法以及结合语音的轮椅控制***

Country Status (1)

Country Link
CN (1) CN108646726A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110012104A (zh) * 2019-04-12 2019-07-12 深圳市班玛智行科技有限公司 一种基于人工智能与物联网技术的社交***以及方法
CN110051351A (zh) * 2019-03-28 2019-07-26 深圳市宏智力科技有限公司 咬牙信号获取方法以及电子设备的控制方法及装置
CN110162182A (zh) * 2019-05-28 2019-08-23 深圳市宏智力科技有限公司 脑电控制模块装置及其控制受控设备的方法
CN112518743A (zh) * 2020-11-20 2021-03-19 南京航空航天大学 一种面向空间机械臂在轨操作的多模态神经解码控制***及方法
CN113031766A (zh) * 2021-03-15 2021-06-25 哈尔滨工业大学 一种通过脑电解码汉语发音的方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101776981A (zh) * 2010-01-07 2010-07-14 天津大学 脑电与肌电联合控制鼠标的方法
CN101897640A (zh) * 2010-08-10 2010-12-01 北京师范大学 一种新型的基于运动想象脑电控制的智能轮椅***
CN102117119A (zh) * 2011-01-28 2011-07-06 国家康复辅具研究中心 基于颞肌表面肌电信号实现鼠标控制的方法
CN102419588A (zh) * 2011-12-28 2012-04-18 许冰 一种基于脑电信号及运动信号对目标控制的方法及装置
CN103099693A (zh) * 2013-02-07 2013-05-15 王禹 基于脑电/语音指令助残控制***
CN103110486A (zh) * 2013-03-06 2013-05-22 胡三清 牙齿控制的轮椅装置及方法
CN104133470A (zh) * 2013-05-03 2014-11-05 徐燕锋 多模态脑机接口轮椅控制***
CN104622649A (zh) * 2015-03-05 2015-05-20 中南大学 一种基于蓝牙肌电采集器的轮椅***及其控制方法
CN104997582A (zh) * 2015-07-30 2015-10-28 沈阳工业大学 基于眼部和下颌肌电信号对智能假肢的控制装置及方法
CN106726200A (zh) * 2017-02-07 2017-05-31 德阳力久云智知识产权运营有限公司 一种基于人脑电波控制的智能轮椅
CN107007407A (zh) * 2017-04-12 2017-08-04 华南理工大学 基于眼电的轮椅控制***
CN107260420A (zh) * 2017-07-03 2017-10-20 南京邮电大学 基于眼部动作识别的智能轮椅人机交互控制***及方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101776981A (zh) * 2010-01-07 2010-07-14 天津大学 脑电与肌电联合控制鼠标的方法
CN101897640A (zh) * 2010-08-10 2010-12-01 北京师范大学 一种新型的基于运动想象脑电控制的智能轮椅***
CN102117119A (zh) * 2011-01-28 2011-07-06 国家康复辅具研究中心 基于颞肌表面肌电信号实现鼠标控制的方法
CN102419588A (zh) * 2011-12-28 2012-04-18 许冰 一种基于脑电信号及运动信号对目标控制的方法及装置
CN103099693A (zh) * 2013-02-07 2013-05-15 王禹 基于脑电/语音指令助残控制***
CN103110486A (zh) * 2013-03-06 2013-05-22 胡三清 牙齿控制的轮椅装置及方法
CN104133470A (zh) * 2013-05-03 2014-11-05 徐燕锋 多模态脑机接口轮椅控制***
CN104622649A (zh) * 2015-03-05 2015-05-20 中南大学 一种基于蓝牙肌电采集器的轮椅***及其控制方法
CN104997582A (zh) * 2015-07-30 2015-10-28 沈阳工业大学 基于眼部和下颌肌电信号对智能假肢的控制装置及方法
CN106726200A (zh) * 2017-02-07 2017-05-31 德阳力久云智知识产权运营有限公司 一种基于人脑电波控制的智能轮椅
CN107007407A (zh) * 2017-04-12 2017-08-04 华南理工大学 基于眼电的轮椅控制***
CN107260420A (zh) * 2017-07-03 2017-10-20 南京邮电大学 基于眼部动作识别的智能轮椅人机交互控制***及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
谷湘琼等: "意念控制的智能残疾轮椅设计", 《计算机科学与技术》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110051351A (zh) * 2019-03-28 2019-07-26 深圳市宏智力科技有限公司 咬牙信号获取方法以及电子设备的控制方法及装置
CN110012104A (zh) * 2019-04-12 2019-07-12 深圳市班玛智行科技有限公司 一种基于人工智能与物联网技术的社交***以及方法
CN110162182A (zh) * 2019-05-28 2019-08-23 深圳市宏智力科技有限公司 脑电控制模块装置及其控制受控设备的方法
CN110162182B (zh) * 2019-05-28 2022-09-06 深圳市宏智力科技有限公司 脑电控制模块装置及其控制受控设备的方法
CN112518743A (zh) * 2020-11-20 2021-03-19 南京航空航天大学 一种面向空间机械臂在轨操作的多模态神经解码控制***及方法
CN112518743B (zh) * 2020-11-20 2022-04-01 南京航空航天大学 一种面向空间机械臂在轨操作的多模态神经解码控制***及方法
CN113031766A (zh) * 2021-03-15 2021-06-25 哈尔滨工业大学 一种通过脑电解码汉语发音的方法

Similar Documents

Publication Publication Date Title
CN108646726A (zh) 基于脑电波的轮椅控制方法以及结合语音的轮椅控制***
CN110151203B (zh) 基于多级雪崩式卷积递归网络eeg分析的疲劳驾驶识别方法
CN103294199B (zh) 一种基于脸部肌音信号的无声信息识别***
Lan et al. Channel selection and feature projection for cognitive load estimation using ambulatory EEG
CN107981997B (zh) 一种基于人脑运动意图的智能轮椅控制方法及***
CN107133612A (zh) 基于图像处理与语音识别技术的智能病房及其运行方法
CN110495893B (zh) 一种运动意图连续脑肌电多层次动态融合识别***及方法
CN110013249A (zh) 一种便携式可调式的头戴癫痫监测仪
CN108363493A (zh) 基于脑机接口的用户特征模型建立方法、***及存储介质
CN110974212A (zh) 一种融合心电和肌电特征的康复训练运动状态监测方法及***
CN107212883B (zh) 一种基于脑电控制的机械臂写字装置及控制方法
CN106127191B (zh) 基于小波包分解及逻辑回归的脑电分类方法
CN108852349B (zh) 一种利用皮层脑电信号的运动解码方法
CN111513735A (zh) 基于脑机接口和深度学习的重度抑郁症辨识***及应用
CN108113670A (zh) 一种多通道式诱发脑电波控制的无人机***及控制方法
US20200229730A1 (en) Methods and Systems for Source Connectivity Estimation With Hierarchical Structural Vector Autoregressive Models
US20220012489A1 (en) Apparatus and method for motor imagery classification using eeg
CN108958482A (zh) 一种基于卷积神经网络的相似性动作识别装置及方法
CN109512390A (zh) 基于eeg时域多维度特征及m-wsvm的睡眠分期方法及可穿戴装置
CN109717866A (zh) 一种基于脑电信号的意识障碍诊断方法
Na et al. A wearable low-power collaborative sensing system for high-quality SSVEP-BCI signal acquisition
CN117390528A (zh) 一种高压开关工作参数异常监测方法及***
Zhang et al. Two-stage intelligent multi-type artifact removal for single-channel EEG settings: A GRU autoencoder based approach
CN106137186B (zh) 脑电信号的高可靠性采集方法
CN114504330A (zh) 一种基于便携式脑电采集头环的疲劳状态监测***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181012