CN103116279B - 脑控机器人***的模糊离散事件共享控制方法 - Google Patents

脑控机器人***的模糊离散事件共享控制方法 Download PDF

Info

Publication number
CN103116279B
CN103116279B CN201310015221.1A CN201310015221A CN103116279B CN 103116279 B CN103116279 B CN 103116279B CN 201310015221 A CN201310015221 A CN 201310015221A CN 103116279 B CN103116279 B CN 103116279B
Authority
CN
China
Prior art keywords
robot
brain
fuzzy
control
discrete event
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201310015221.1A
Other languages
English (en)
Other versions
CN103116279A (zh
Inventor
刘蓉
张�林
王永轩
刘敏
王媛媛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN201310015221.1A priority Critical patent/CN103116279B/zh
Publication of CN103116279A publication Critical patent/CN103116279A/zh
Application granted granted Critical
Publication of CN103116279B publication Critical patent/CN103116279B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Feedback Control In General (AREA)
  • Manipulator (AREA)

Abstract

本发明属于脑机接口领域,是一种脑控机器人***的模糊离散事件共享控制方法,它是采用人脑控制命令与基于模糊离散事件***的机器人自主控制相结合的方法,在线识别运动想象的脑电信号并以此作为优先级最高的控制命令来控制机器人的前进、左转、右转行为,而当无脑控命令时,则运行基于模糊离散事件***的自主控制模块,把机器人的避障、靠墙行驶自主控制状态模糊化,针对路径中障碍物的大小,距离远近等模糊事件形成一个模糊离散事件***。该发明通过共享控制的方法弥补了脑机接口信息传输速率低,识别错误率高,控制时延等问题,增强了机器人在复杂环境中的自适应性。

Description

脑控机器人***的模糊离散事件共享控制方法
技术领域
本发明属于脑-机接口领域,涉及一种将脑电控制与自动控制技术相结合的机器人共享控制方法,特别涉及一种对驱动脑-机接口***状态演变的离散事件进行模糊化处理的控制方法。
背景技术
脑-机接口(Brain-Computer Interface ,BCI)是在人脑和计算机或其他电子设备之间建立的一种不依赖于常规大脑输出通道(外周神经和肌肉组织)的直接信息交流和控制通道。BCI研究的初衷是为那些由于疾病使得部分或全部失去自主肌肉控制的人们提供一种与外界的交互方式,但随着BCI技术的发展与成熟,BCI的应用也逐渐广泛起来,脑控机器人就是其中的研究热点之一。脑控机器人技术将BCI和机器人控制技术相结合,通过对脑电信号的识别来达到对机器人的行为控制。对于一个实用的BCI***来说,需要连续地在线分析脑电信号而不需要预先定义时间段,也就是所谓的异步BCI***,它不仅能较准确地检测出意识控制状态(intentional-control, IC), 还能发现无控制状态(no-control, NC), 也就是空闲状态。但目前基于脑电信号的BCI***的指令识别准确率还不高,对于快速和复杂序列的机器人运动而言控制速度太慢,指令延迟程度严重,交互性能较差。近些年,对于BCI***实现机器人控制的研究主要集中于对于脑电信号的识别算法,例如Graz 科技大学的BCI-lab利用一类运动想象电位进行了虚拟场景中的轮椅前进控制实验,提出了一种logarithmic band power (BP) 特征提取算法对IC 和NC状态进行分类识别;Mason 等研究利用运动想象和自发运动相关电位提取实验,提出了空闲状态无加据活动的假设,在特定的频带范围内比较归一化能量,给出了低频异步开关设计实现IC和NC两种状态检测的方法;Tran等人发现在运动想象电位某些特定的频段,IC状态的EEG信号的复杂性低于NC状态,因此提出一种基于选择性子带熵的状态检测方法等。虽然以上方法对识别准确率有了一定提高,但对于一个具有连续动力学特性的机器人***而言,其控制信号的实时性难以保证,而且机器人的大小、机械特性各异,其所处的环境也是各不相同,甚至在相同的环境里,机器人每时每刻所处的传感器能探测的范围的环境也是不同的,这就造成了控制命令直接控制机器人难以达到预想控制效果的问题。瑞士的Millan团队首次将脑控命令与自动控制技术相结合,采用共享控制方法使机器人的控制权在直接脑控和局部自主控制之间进行共享和交互,修正机器人***运动轨迹偏差,其方法证明了利用异步操作模式连续控制复杂机器人***的可行性,但目前的控制方法并没有对***的时滞和自适应性做深入的研究分析,仍然存在着信息传输速率低、时延等问题。因此需要在人脑和机器人之间建立一种辅助的共享控制方法,以弥补信息传输速率低、***时延等问题带来的影响。
发明内容
为了克服现有技术中存在的不足,本发明目的是提供一种脑控机器人系
统的模糊离散事件共享控制方法。本发明利用模糊离散事件共享控制方法实现利用脑电信号对机器人的稳定控制,它与传统的基于时间的控制方法不同,基于事件的控制方法与时间无关,能够有效改善脑机交互过程中的时延问题,而模糊理论的引入则能够有效的分析事件的不确定因素,从而弥补因脑控命令少而难以实现机器人的连续命令控制的不足。
为了实现上述发明目的,解决现有技术中所存在的问题,本发明采取的技
术方案是:一种脑控机器人***的模糊离散事件共享控制方法,包括以下步骤:
(1)、利用脑电采集设备采集运动想象任务下的脑电信号作为训练数据,进行特征提取,计算分类器参数从而构建分类器模型,然后对实时采集的运动想象脑电信号进行特征提取与分类,分类结果作为对机器人施加的前进、左转以及右转的脑控命令;
(2)、对步骤(1)中检测的脑控命令进行离散事件控制,结合机器人***的模糊离散事件自主控制实现人机共享控制,具体步骤如下:
(A)、建立脑控命令离散事件集,采用有限状态自动机                                                对脑控命令离散事件进行状态转移建模,表示为:
                                               
其中,代表机器人前进、左转、右转运动状态的集合,是脑控命令事件的总集合,表示是转移函数,是机器人***的初始运动状态;将脑控命令作为优先级最高的控制命令,通过TCP/IP协议传送至机器人,并以运动想象的持续时间作为机器人运动的控制变量,表示为:
其中,代表前进命令下机器人行驶的距离,代表左转或右转命令下的转角大小,代表前进的线速度,代表转向的角速度,代表符号位,即有左转命令,右转命令
(B)、建立机器人自主行为的模糊离散事件集,采用模糊有限状态自动机
进行状态转移建模,表示为:
这里, 代表机器人避障、靠左墙行驶、靠右墙行驶的有限模糊状态的集合,为状态转移模糊事件集,
                               
其中,表示驱动状态转移到状态的模糊事件,1、2、3分别代表机器人避障、靠左墙行驶、靠右墙行驶的模糊状态;表示是模糊转移函数;是机器人***的初始模糊状态;机器人自主行为中避障和靠墙行驶描述步骤如下:
(a)、通过机器人的激光传感器采集半径为4m,角度为负50o至正50o
范围内的障碍物信息,计算其与机器人的距离OD与相对角度
                                 
                                
其中,为机器人当前坐标,为障碍物起始点坐标,
障碍物终点坐标;将距离机器人最近障碍物的OD与输入至模糊算法,经模糊运算后,得出避障所需的速度与转角,机器人将以此参数行驶,从而实现自主避障行为;
(b)通过机器人激光传感器采集半径为4m,角度为负90o至正90o范围
内的直线路径信息,计算其与机器人的距离LD以及相对角度
                           
                                              
其中,为直线路径的起始坐标,为终点坐标;将距离机器
人最近直线路径的LD及相应输入至模糊算法,经模糊运算后,得到模糊输出的靠墙行驶所需的速度及转角为2时表示机器人靠左墙行驶,为3时表示机器人靠右墙行驶;机器人以此参数驶向其距离最近的直线路径,并调整到距离该路径0.2m的水平位置后继续前进,从而实现自主靠墙行驶行为;
(c)、结合机器人自主避障与靠墙行驶行为,建立机器人自主行为控制模糊离散事件***,首先 确定***初始状态=,其中,表示时刻状态的隶属程度;然后对机器人激光传感器采集的环境信息进行常规模糊运算得到模糊关系映射,其中 ,表示从状态转移到状态的隶属程度;之后计算***下一状态
                                                 
其中 ,“”为最大-乘积运算,最后计算最终行为:
这里,分别表示时刻机器人行为的线速度与转角,机器人以此参数行驶,实现自主控制。结合脑控命令离散事件控制和机器人***的模糊离散事件自主控制实现人机共享控制。首先以脑控命令作为优先级最高的控制命令控制机器人的行为,在此过程中,***会检测脑控命令与当前环境信息的符合程度,当障碍物与机器人距离小于0.2m,而机器人仍然接收到靠近障碍物的脑控命令时,判断脑控命令为错误命令并切换到机器人自主控制,对错误的控制命令进行修正。当没有脑控命令出现时,机器人进入自主控制,启动模糊离散事件***计算机器人的速度与转角,进而控制其行为。
本发明有益效果是:一种脑控机器人***的模糊离散事件共享控制方法,它是采用基于模糊离散事件***的机器人自主控制与人脑控制命令相结合的方法,在线识别运动想象的脑电信号并以其作为优先级最高的控制命令来分别控制机器人的前进、左转、右转行为,而当无脑控命令时,则运行基于模糊离散事件***的自主控制模块,把机器人的避障、靠墙行驶自主控制状态模糊化,针对路径中障碍物的大小,距离远近等模糊事件形成一个模糊离散事件***。与已有技术相比,该发明通过共享控制的方法弥补了脑机接口信息传输速率低,识别错误率高,控制时延等问题,增强了机器人在复杂环境中的自适应性。
附图说明
图1是本发明中脑控机器人的***框图。
图2是本发明中机器人控制的流程图。
图3是本发明中脑控机器人***的模糊离散共享控制有限自动机框图。
具体实施方式
下面结合附图对本发明作进一步说明。
如图1所示,脑控机器人***主要包括脑电数据采集、特征提取与分类器训练、建立分类器模型、在线特征提取与分类、共享控制模块及机器人。具体工作过程如下:
第一步,采集脑电信号训练数据,采用NeuroScan采集C3,C4,CZ,FC3,FC4,CP3,CPZ,CP4电极处的脑电数据。采集过程中需要被试者注视屏幕,在屏幕出现左箭头、右箭头、上箭头的同时开始进行运动想象,箭头出现持续4秒,在此期间需要进行持续的想象运动,箭头消失后,被试者进行2秒的休息,如此循环共采集90次的EEG数据。
第二步,特征提取与分类器训练并建立分类器模型,对采集的EEG数据进行830Hz滤波,采用CSP对EEG信号进行特征提取,采用交叉验证的方式,使用SVM对其进行分类训练,得到分类器参数,建立在线SVM分类器。采用100ms重叠率为25%的滑动时间窗在线采集被试者的脑电信息,经过CSP特征提取与SVM分类后,输出前进、左转、右转的控制命令。
第三步,实现共享控制,本发明采用美国ActivMedia Robotics公司的Pioneer3-DX型机器人进行控制,通过TCP/IP协议进行脑控命令与机器人之间的数据传输。
如图2所示,共享控制流程如下:
步骤(1),初始化脑电设备与机器人设备,开启相应程序,进入步骤(2)。步骤(2),***判断是否有脑控命令信息,有则进入步骤(3),否则进入步骤(4)。
步骤(3),首先进行脑控命令的检测,判断其是否符合环境信息,即检
测当障碍物与机器人距离小于0.2m时,机器人是否仍然接收到靠近障碍物的脑控命令,有则进入步骤(4),否则进入脑控命令模式,在脑控命令持续时间内,执行以作为恒定线速度的前进命令或者以作为转角的左转或右转的命令,随后***判断控制命令的结束与否,结束则进入步骤(2),否则等待控制命令结束。
步骤(4),进入机器人自主控制模式,通过机器人激光传感器采集环境信息,通过模糊运算计算糊关系映射,然后计算***下一状态,最后对避障和靠墙行驶进行控制行为融合,得到避障与靠墙行驶行为融合后的线速度与转角,输出控制命令并判断其是否执行完毕,执行完毕则进入步骤(2),否则等待控制命令执行完毕。
如图3所示,N代表无脑控命令以及脑控命令与当前环境不符的情况,F、L、R分别代表脑控命令的前进、左转、右转;虚线部分代表由避障、靠左墙行驶和靠右墙行驶组成的机器人自主行为的模糊离散事件***,,,,,,,,,分别代表模糊离散事件***中模糊转移条件,具体为传感器采集到的环境信息。当脑控命令出现,机器人通过F、L、R在前进、左转、右转三种状态间切换,而没有脑控命令或者脑控命令与当前环境信息不符时,则判定为N,此时切换到虚线所示的机器人自主行为的模糊离散事件***,通过模糊事件计算***的下一状态,并进行最终的行为融合,从而对机器人进行相应的控制。

Claims (1)

1.一种脑控机器人***的模糊离散事件共享控制方法,其特征包括以下步骤:
(1)、利用脑电采集设备采集运动想象任务下的脑电信号作为训练数据,进行特征提取,计算分类器参数从而构建分类器模型,然后对实时采集的运动想象脑电信号进行特征提取与分类,分类结果作为对机器人施加的前进、左转以及右转的脑控命令;
(2)对步骤(1)中检测的脑控命令进行离散事件控制,结合机器人***的模糊离散事件自主控制实现人机共享控制,具体步骤如下:
(A)、建立脑控命令离散事件集,采用有限状态自动机                                                对脑控命令离散事件进行状态转移建模,表示为:
                                                          
其中,代表机器人前进、左转、右转运动状态的集合,是脑控命令事件的总集合,表示是转移函数,是机器人***的初始运动状态;将脑控命令作为优先级最高的控制命令,通过TCP/IP协议传送至机器人,并以运动想象的持续时间作为机器人运动的控制变量,表示为:
                             
                            
其中,代表前进命令下机器人行驶的距离,代表左转或右转命令下的转角大小,代表前进的线速度,代表转向的角速度,代表符号位,即有左转命令,右转命令
(B)、建立机器人自主行为的模糊离散事件集,采用模糊有限状态自动机进行状态转移建模,表示为:
                            
     这里, 代表机器人避障、靠左墙行驶、靠右墙行驶的有限模糊状态的集合,为状态转移模糊事件集,
                         
            其中,表示驱动状态转移到状态的模糊事件,1、2、3分别代表机器人避障、靠左墙行驶、靠右墙行驶的模糊状态;表示是模糊转移函数;是机器人***的初始模糊状态;机器人自主行为中避障和靠墙行驶描述步骤如下:
(a)、通过机器人的激光传感器采集半径为4m,角度为负50o至正50o范围内的障碍物信息,计算其与机器人的距离OD与相对角度
          
                                      
其中,为机器人当前坐标,为障碍物起始点坐标,为障碍物终点坐标;将距离机器人最近障碍物的OD与输入至模糊算法,经模糊运算后,得出避障所需的速度与转角,机器人将以此参数行驶,从而实现自主避障行为;
(b)通过机器人激光传感器采集半径为4m,角度为负90o至正90o范围内的直线路径信息,计算其与机器人的距离LD以及相对角度
                           
                                              
其中,为直线路径的起始坐标,为终点坐标;将距离机器人最近直线路径的LD及相应输入至模糊算法,经模糊运算后,得到模糊输出的靠墙行驶所需的速度及转角为2时表示机器人靠左墙行驶,为3时表示机器人靠右墙行驶;机器人以此参数驶向其距离最近的直线路径,并调整到距离该路径0.2m的水平位置后继续前进,从而实现自主靠墙行驶行为;
(c)、结合机器人自主避障与靠墙行驶行为,建立机器人自主行为控制模糊离散事件***,首先确定***初始状态,其中,表示时刻状态的隶属程度;然后对机器人激光传感器采集的环境信息进行常规模糊运算得到模糊关系映射     其中,表示从状态转移到状态的隶属程度;之后计算***下一状态
                            
其中 ,为最大-乘积运算,最后计算最终行为:
                         
                        
这里,分别表示时刻机器人行为的线速度与转角,机器人以此参数行驶,实现自主控制。
CN201310015221.1A 2013-01-16 2013-01-16 脑控机器人***的模糊离散事件共享控制方法 Expired - Fee Related CN103116279B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310015221.1A CN103116279B (zh) 2013-01-16 2013-01-16 脑控机器人***的模糊离散事件共享控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310015221.1A CN103116279B (zh) 2013-01-16 2013-01-16 脑控机器人***的模糊离散事件共享控制方法

Publications (2)

Publication Number Publication Date
CN103116279A CN103116279A (zh) 2013-05-22
CN103116279B true CN103116279B (zh) 2015-07-15

Family

ID=48414693

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310015221.1A Expired - Fee Related CN103116279B (zh) 2013-01-16 2013-01-16 脑控机器人***的模糊离散事件共享控制方法

Country Status (1)

Country Link
CN (1) CN103116279B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103970012A (zh) * 2014-02-26 2014-08-06 南京邮电大学 基于生物阻抗辨识的机器人辅助肌力混杂控制方法及控制***
CN103926831A (zh) * 2014-02-26 2014-07-16 南京邮电大学 基于混杂理论的机器人辅助肌力训练控制方法及***
CN104523268B (zh) * 2015-01-15 2017-02-22 江南大学 一种具备迁移学习能力的脑电信号识别模糊***方法
CN107669416B (zh) * 2017-09-30 2023-05-02 五邑大学 基于持续-轻快运动想象神经解码的轮椅***及控制方法
CN108108763B (zh) * 2017-12-25 2021-07-23 中国科学院深圳先进技术研究院 脑电分类模型生成方法、装置及电子设备
CN108415554B (zh) * 2018-01-18 2020-11-10 大连理工大学 一种基于p300的脑控机器人***及其实现方法
CN109799710B (zh) * 2019-02-02 2021-12-03 南京林业大学 基于多方位肌电信号的老年座椅运动控制方法和***
CN112035992B (zh) * 2019-05-14 2024-01-09 中国科学院沈阳自动化研究所 一种基于多目标优化的自主遥控水下机器人共享控制方法
CN110584898B (zh) * 2019-10-08 2020-08-14 南京邮电大学 一种基于多传感器的脑控轮椅自动避障方法
CN110955251A (zh) * 2019-12-25 2020-04-03 华侨大学 基于Petri网的移动机器人脑机协同控制方法和***
CN111443603B (zh) * 2020-03-31 2021-07-06 东华大学 基于自适应模糊神经网络***的机器人共享控制方法
CN113688981B (zh) * 2020-05-19 2024-06-18 深圳忆海原识科技有限公司 具有记忆与信息抽象功能的类脑神经网络
CN112148011B (zh) * 2020-09-24 2022-04-15 东南大学 一种未知环境下脑电移动机器人共享控制方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202161317U (zh) * 2011-07-29 2012-03-14 中国科学院沈阳自动化研究所 脑电和近红外光谱联合采集脑信号的头盔
CN102814815A (zh) * 2012-08-24 2012-12-12 广东工业大学 一种虚拟工程机器人***及控制方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8700925B2 (en) * 2009-09-01 2014-04-15 Nvidia Corporation Regulating power using a fuzzy logic control system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202161317U (zh) * 2011-07-29 2012-03-14 中国科学院沈阳自动化研究所 脑电和近红外光谱联合采集脑信号的头盔
CN102814815A (zh) * 2012-08-24 2012-12-12 广东工业大学 一种虚拟工程机器人***及控制方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
薛匡正.脑控机器人***运动控制算法研究.《中国优秀硕士学位论文全文数据库,信息科技辑》.2011,(第5期), *

Also Published As

Publication number Publication date
CN103116279A (zh) 2013-05-22

Similar Documents

Publication Publication Date Title
CN103116279B (zh) 脑控机器人***的模糊离散事件共享控制方法
CN112356841B (zh) 一种基于脑机交互的车辆控制方法及装置
CN103679203B (zh) 机器人的人脸检测与情感识别***及方法
CN109044651B (zh) 未知环境中基于自然手势指令的智能轮椅控制方法及***
Göhring et al. Semi-autonomous car control using brain computer interfaces
CN105931263B (zh) 一种目标跟踪方法及电子设备
WO2018103023A1 (zh) 人机混合决策方法和装置
US11694432B2 (en) System and method for augmenting a visual output from a robotic device
Salmerón-Garcı et al. A tradeoff analysis of a cloud-based robot navigation assistant using stereo image processing
CN107315410B (zh) 一种机器人自动排障方法
CN103454919B (zh) 智能空间中移动机器人的运动控制***的控制方法
CN104083258A (zh) 一种基于脑机接口与自动驾驶技术的智能轮椅控制方法
CN104942809A (zh) 基于视觉伺服***的机械臂动态模糊逼近器
CN105565212A (zh) 基于肌电流和运动传感器的手势控制的搬运堆垛车及方法
CN202677195U (zh) 一种基于视觉和超声波的导航控制***
Ismail et al. Vision-based system for line following mobile robot
CN112148011A (zh) 一种未知环境下脑电移动机器人共享控制方法
Zhu et al. An edge computing platform of guide-dog robot for visually impaired
CN116331221A (zh) 辅助驾驶方法、装置、电子设备及存储介质
CN113799118B (zh) 一种基于机器视觉和运动控制的煤矿搜救机器人
CN113084776B (zh) 基于视觉的多传感器融合的智能防疫机器人及***
CN105760822B (zh) 一种车辆驾驶控制方法及***
CN203443592U (zh) 一种基于动态图像识别的车载人工智能***
CN112757274B (zh) 一种面向人机协同操作的动力学融合行为安全算法及***
Zhao et al. A robot navigation method based on human-robot interaction for 3D environment mapping

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150715

Termination date: 20220116