CN1927551A - 一种视导脑声控的残障辅助机器人 - Google Patents

一种视导脑声控的残障辅助机器人 Download PDF

Info

Publication number
CN1927551A
CN1927551A CN 200610021991 CN200610021991A CN1927551A CN 1927551 A CN1927551 A CN 1927551A CN 200610021991 CN200610021991 CN 200610021991 CN 200610021991 A CN200610021991 A CN 200610021991A CN 1927551 A CN1927551 A CN 1927551A
Authority
CN
China
Prior art keywords
control
information
brain
vision guide
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN 200610021991
Other languages
English (en)
Inventor
范守文
杨玻玻
董全义
孙敏
黄洪钟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN 200610021991 priority Critical patent/CN1927551A/zh
Publication of CN1927551A publication Critical patent/CN1927551A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Rehabilitation Tools (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种视导脑声控残障辅助机器人，包括机械、信息采集和控制三个部分，其特征在于该机器人信息采集部分有采集脑电波信号的脑电波采集传感器、采集视觉信号的CCD摄像头和采集声音信号的麦克风；其控制部分对采集的脑电波信号、视觉信号、音频信号进行判定并执行相应的操作内容。本发明的视导脑声控残障辅助机器人综合利用了现有多种成熟技术，以视觉信息为目标引导信息，以人的大脑脑电波和声音为控制信息，通过利用人的综合生物信息控制机器人的运动可提高残疾人的独立生活能力。

Description

一种视导脑声控的残障辅助机器人
技术领域
本发明属于机器人领域，特别是属于一种以人的眼球视觉聚焦图像信息为目标引导信息、以人的大脑脑电波信息以及声音信息为控制信息的残障辅助机器人。
背景技术
视导脑声控人机电一体化***是一种新颖的控制***。与通常的控制***不同，这种控制***直接以人的眼球注意聚焦的图像信息、脑电波电信号为基础，通过脑机接口来实现控制。以视觉为引导、以大脑为控制中心，基于脑电信号的人机信息融合控制***，可称之为脑控***，也可以将基于脑机的接口控制***称为脑控***。视导脑声控人机电一体化***涉及到多学科的交叉：神经科学、心理学、机械电子工程、计算机科学、控制科学等。
视导脑声控人机电一体化***在于残障辅助、交通、军事及医学等领域有着十分广泛的应用前景。
国内有关人机一体化的概念最早是由***院士提出的，但这方面的研究在人机一体化的概念提出后仅仅停留在理论框架层面上。所谓“人机一体化***”采取的是以人为中心，人-机械一体的技术路线，人与机器处在平等合作的地位，人与机械共同组成一个***，各自执行自己最擅长的工作，人与机器相互配合，共同工作。在这方面国内外的主要研究成果如下：
中国发明专利说明书，公告号CN1174337，于2004年11月3日公告了一种识别人眼注视与否的方法和装置及其应用，该发明涉及机器视觉与自动控制技术，可以识别人眼注视方向的装置和方法及其在智能控制中的应用，可以用于家用电器、游戏机、医护仪器、智能机器人以及残疾人和某些特需者的非接触控制装置等，应用注视方法开启和关闭空调等简单电器。
在中国发明专利说明书，公告号CN1498595，中描述了一种利用脑电波信号的控制装置，该发明的控制装置可以基于驾驶员的脑电波信号生成脑电波图案，并将该脑电波图案与已存储的多个脑电波图案进行比较，有一致的脑电波图案时，指定与该一致的脑电波图案对应的操作内容，读出与该操作内容对应的控制数据，从控制数据生成用于执行与车载装置对应的操作的控制信号并发送，从而利用脑电波信号控制各种被控装置。
在学术领域的研究中，University of Technology Graz的GertPfurtscheller等人宣称一个四肢残废的病人学会使用思维想象来控制手矫形器的伸缩。为了恢复手抓功能，将一个电机驱动手矫形器安装于他的左手，该装置的驱动直接基于大脑的生物电位信号。他的矫形器随着想象右手的移动而打开，随着想象脚的移动而关闭，分类精度接近100％。经过5个月的训练，病人能够操纵他的手矫形器移动物体甚至拾起苹果放入嘴里。
目前，将脑电控制和视觉信号控制相结合的视导脑声控残障辅助机器人的文献报道不多，而有关视导脑声控残障辅助机器人专利文献仍为空白。
发明内容
本发明的目的在于：提供一种可以根据用户眼球视觉聚焦图像信息、用户声音信息以及大脑脑电波信息执行不同功能的视导脑声控的残障辅助机器人。
本发明的技术方案是：
一种视导脑声控残障辅助机器人，包括机械、信息采集和控制三个部分，其机械部分包括有机械手臂、机械手爪、提供整个装置动力的驱动电机；其特征在于，其信息采集部分有采集脑电波信号的脑电波采集传感器、采集视觉信号的CCD摄像头和采集声音信号的麦克风；其控制部分包括有中央处理器，连接在中央处理器上且受中央处理器控制的存储装置、电机驱动电路、传感器输入接口、电机驱动输出接口、图像采集卡、声音采集卡，存储器中存储有脑电波信号、视觉信号、音频信号的判定标准以及相应信号所对应的操作内容，中央处理器将所采集信息与存储器内的判定信息进行比较并通过电机驱动电路控制机械部分执行相应的操作；信息采集部分分别输出至控制部分的传感器输入接口、图像采集卡和声音采集卡。
本发明的工作原理：
信息采集模块通过CCD摄像头获取用户眼球视觉聚焦图象信息，通过麦克风及声音信息采集卡获取声音信息，通过脑电波采集头盔获得大脑脑电波信息，各信息采集模块将各自所获取的信息送入控制部分，控制部分通过信息解码，制定控制策略，驱动相应的模块执行脑电波信息所对应的功能。
本发明与现有技术相比有如下优点：
1)采取的是以人为中心，人-机械一体的技术路线，人与机器处在平等合作的地位，人与机械共同组成一个***，各自执行自己最擅长的工作，人与机器相互配合，共同工作。人主事思维、感知、决策等方面的工作，而机器主要在运动学、动力学方面发挥作用，从事人由于生理因素无法实现的工作。
2)本发明的视导脑声控残障辅助机器人综合利用了现有多种成熟技术，以视觉信息作为目标引导信息，以人的大脑脑电波信息和声音信息作为控制信息。
3)该视导脑声控残障辅助机器人的应用，可提高残疾人的自信心和尊严，使残疾人及病患能够在没有家人或护士的陪护下获得简单的日常生活辅助。具体的说，本病床升降床架、活动桌面及机械手臂、机械手爪的运动，可以满足残疾人生活辅助、医疗康复等方面的需求。
附图说明
图1是本发明的控制原理图。
图2是本发明的视导脑声控残障辅助机器人病床轴测图。
图3是本发明的视导脑声控残障辅助机器人轮椅轴测图。
其中，附图标记：
01-右限位开关，02-螺母，03-轴承，04-左限位开关，05-驱动电机，06-联轴器，07-丝杆，08-轴承，09-活动桌面，10-机械手爪，11-机械手小臂，12-机械手大臂，13-脑电波采集头盔，14-脑电波采集传感器，15-CCD摄像头，16-麦克风，17-可升降床架，18-控制中心，19-连杆，20-螺母，21-丝杆，22-轴承，23-联轴器，24-轴承，25-驱动电机，26-轮椅左轮，27-随动轮，28-脚踏板，29-电池盒，30-轮椅支架，31-CCD摄像头，32-桌面，33-机械手爪，34-机械手小臂，35-机械手大臂，36-脑电波采集头盔，37-脑电波采集传感器，38-麦克风，39-中心控制箱，40-轮椅右轮，41-右轮驱动电机，42-左轮驱动电机。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
本发明的具体实施例一：
一种视导脑声控残障辅助机器人，原理如图1所示，用于病床护理，其总体结构图如图2所示，包括机械、信息采集和控制三个部分，其机械部分包括有机械手臂、机械手爪、活动桌面、可升降床架、传动丝杆(7、21)、连杆(19)等，和提供整个装置动力的驱动电机；其信息采集部分有采集脑电波信号的安装有脑电波采集传感器的脑电波采集头盔、采集视觉信号的CCD摄像头和采集声音信号的麦克风；其控制部分包括有中央处理器，连接在中央处理器上且受中央处理器控制的存储装置、电机驱动电路、传感器输入接口、电机驱动输出接口、图像采集卡、声音采集卡，存储器中存储有脑电波信号、视觉信号、音频信号的判定标准以及相应信号所对应的操作内容，中央处理器将所采集信息与存储器内的判定信息进行比较并通过电机驱动电路控制机械部分执行相应的操作；信息采集部分分别输出至控制部分的传感器输入接口、图像采集卡和声音采集卡。所述的中央处理器可以采用数字信号处理器(DSP)或嵌入式控制器中的一种。本实施例的机器人可通过采集用户眼球视觉聚焦图象信息、声音信息以及大脑脑电波信息控制病床升降床架、活动桌面及机械手臂、机械手爪等的运动，可应用于残疾人生活辅助设施、医疗康复设施等。
本实施例机器人的各机械部分详细结构如下：
机器人的机械手控制***机械部分详细组成为：由机械手爪(10)、机械手小臂(11)、机械手大臂(12)组成。各关节通过电机驱动，可实现机械手在一定的范围内运动及机械手爪抓取桌面上的物品。
活动桌面控制***机械部分由驱动电机(5)、螺母(2)、联轴器(6)、传动丝杆(7)、轴承(3、8)、活动桌面(9)组成。通过电机驱动、丝杆螺母传动，带动活动桌面在病床固定范围内左右移动，实现把电机的转动转化为桌面的平动。***根据限位开关的信息(左限位开关(4)和右限位开关(1))控制桌面相应的行程范围。
病床升降床架控制***机械部分由电机(25)、螺母(20)、联轴器(23)、传动丝杆(21)、轴承(22、24)、可升降床架(17)组成。通过电机驱动、丝杆螺母传动以及连杆配合，实现病床升降床架在一定范围内的升降，把电机的转动转化为病床升降床架的转动。
本发明的具体实施例二：
一种视导脑声控残障辅助机器人，总体结构如图3所示，本实施例中，与轮椅相结合，视导脑声控残障辅助机器人轮椅包括机械、信息采集和控制部分，信息采集和电子部分与实施例一所述类似，控制部分安装在中心控制箱内，其机械部分包括由随动轮(27)、脚踏板(28)、轮椅支架(30)、轮椅左轮(26)、轮椅右轮(40)等组成的轮椅和安装在轮椅上的机械手爪(33)、机械手臂(34、35)、活动桌面。本实施例的机器人可通过采集用户眼球视觉聚焦图象信息、声音信息以及大脑脑电波信息控制轮椅、活动桌面及机械手臂、机械手爪等的运动，可应用于残疾人生活辅助设施、医疗康复设施等。
上述实施例的具体工作实例如下：
例如病人或残疾人想吃桌上的苹果，病人盯着苹果，在大脑中产生要吃苹果的意识。***在获得用户眼球视觉聚焦图象和大脑脑电波信息后，通过信息解码，制定控制策略，***发出指令升高病床活动支架、活动桌面移动靠近用户、机械手运动抓取苹果送入用户口中。同时，用户还可以通过识别声音信息来实现***的控制而满足不同的使用需求。

Claims (5)

1.一种视导脑声控残障辅助机器人，包括机械、信息采集和控制三个部分，其机械部分包括有机械手臂、机械手爪、提供整个装置动力的驱动电机；其特征在于，其信息采集部分有采集脑电波信号的脑电波采集传感器、采集视觉信号的CCD摄像头和采集声音信号的麦克风；其控制部分包括有中央处理器，连接在中央处理器上且受中央处理器控制的存储装置、电机驱动电路、传感器输入接口、电机驱动输出接口、图像采集卡、声音采集卡，存储器中存储有脑电波信号、视觉信号、音频信号的判定标准以及相应信号所对应的操作内容，中央处理器将所采集信息与存储器内的判定信息进行比较并通过电机驱动电路控制机械部分执行相应的操作；信息采集部分分别输出至控制部分的传感器输入接口、图像采集卡和声音采集卡。
2.根据权利要求1所述一种视导脑声控的残障辅助机器人，其特征在于，其机械部分还包括由驱动电机通过传动机构驱动的可升降床架(17)和活动桌面(9)。
3.根据权利要求2所述一种视导脑声控的残障辅助机器人，其特征在于，在活动桌面上还设置由左限位开关(4)和右限位开关(1)，用于控制活动桌面(9)行程范围。
4.根据权利要求2所述一种视导脑声控的残障辅助机器人，其特征在于，所述传动机构由联轴器(6)、传动丝杆(7)、配套螺母(2)和轴承(3、8)依次连接组成。
5.根据权利要求1所述一种视导脑声控的残障辅助机器人，其特征在于，所述的中央处理器是数字信号处理器(DSP)或嵌入式控制器中的一种。
CN 200610021991 2006-09-30 2006-09-30 一种视导脑声控的残障辅助机器人 Pending CN1927551A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 200610021991 CN1927551A (zh) 2006-09-30 2006-09-30 一种视导脑声控的残障辅助机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 200610021991 CN1927551A (zh) 2006-09-30 2006-09-30 一种视导脑声控的残障辅助机器人

Publications (1)

Publication Number Publication Date
CN1927551A true CN1927551A (zh) 2007-03-14

Family

ID=37857769

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 200610021991 Pending CN1927551A (zh) 2006-09-30 2006-09-30 一种视导脑声控的残障辅助机器人

Country Status (1)

Country Link
CN (1) CN1927551A (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102178540A (zh) * 2011-03-18 2011-09-14 北京科技大学 三轮式全向移动控制装置及自闭症儿童监护辅助***
CN102873684A (zh) * 2012-09-19 2013-01-16 深圳市中科鸥鹏智能科技有限公司 五自由度机械手、驱动电路和控制方法
CN103083191A (zh) * 2011-11-02 2013-05-08 朱云龙 带机械手的助残饮食装置
CN105082159A (zh) * 2015-08-21 2015-11-25 天津超众机器人科技有限公司 一种基于脑电信号控制的工业机器人***及示教方法
CN105853140A (zh) * 2016-03-24 2016-08-17 西安交通大学 基于视觉运动诱发的脑控下肢主被动协同康复训练***
CN106074021A (zh) * 2016-06-08 2016-11-09 山东建筑大学 基于脑机接口的智能轮椅***及其动作方法
CN106462796A (zh) * 2014-05-30 2017-02-22 密歇根大学董事会 用于促进多项选择答案的直接选择和状态变化的识别的脑机接口
CN106476281A (zh) * 2016-09-14 2017-03-08 西安科技大学 基于眨眼识别与视觉诱发的3d打印机控制方法
CN106671084A (zh) * 2016-12-20 2017-05-17 华南理工大学 一种基于脑机接口的机械臂自主辅助***及方法
CN107175673A (zh) * 2017-04-13 2017-09-19 中国农业大学 车型机器人控制***及方法
CN107553491A (zh) * 2017-09-15 2018-01-09 华南理工大学 一种脑控轮椅机械臂
CN108391049A (zh) * 2018-02-11 2018-08-10 广东欧珀移动通信有限公司 拍摄控制方法及相关设备
CN109240282A (zh) * 2018-07-30 2019-01-18 王杰瑞 一种可操纵智能医疗机器人
CN110575332A (zh) * 2019-08-29 2019-12-17 江苏大学 基于近红外主动立体视觉和脑电波技术的护理床及方法
CN110788868A (zh) * 2019-10-26 2020-02-14 内蒙古民族大学 一种残疾儿童专用绘画组合装置
US10664050B2 (en) 2018-09-21 2020-05-26 Neurable Inc. Human-computer interface using high-speed and accurate tracking of user interactions
CN112518743A (zh) * 2020-11-20 2021-03-19 南京航空航天大学 一种面向空间机械臂在轨操作的多模态神经解码控制***及方法
US11269414B2 (en) 2017-08-23 2022-03-08 Neurable Inc. Brain-computer interface with high-speed eye tracking features
US12001602B2 (en) 2017-11-13 2024-06-04 Neurable Inc. Brain-computer interface with adaptations for high-speed, accurate, and intuitive user interactions

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102178540B (zh) * 2011-03-18 2012-09-26 北京科技大学 三轮式全向移动控制装置及自闭症儿童监护辅助***
CN102178540A (zh) * 2011-03-18 2011-09-14 北京科技大学 三轮式全向移动控制装置及自闭症儿童监护辅助***
CN103083191A (zh) * 2011-11-02 2013-05-08 朱云龙 带机械手的助残饮食装置
CN102873684A (zh) * 2012-09-19 2013-01-16 深圳市中科鸥鹏智能科技有限公司 五自由度机械手、驱动电路和控制方法
CN106462796A (zh) * 2014-05-30 2017-02-22 密歇根大学董事会 用于促进多项选择答案的直接选择和状态变化的识别的脑机接口
CN105082159A (zh) * 2015-08-21 2015-11-25 天津超众机器人科技有限公司 一种基于脑电信号控制的工业机器人***及示教方法
CN105853140B (zh) * 2016-03-24 2018-04-17 西安交通大学 基于视觉运动诱发的脑控下肢主被动协同康复训练***
CN105853140A (zh) * 2016-03-24 2016-08-17 西安交通大学 基于视觉运动诱发的脑控下肢主被动协同康复训练***
CN106074021A (zh) * 2016-06-08 2016-11-09 山东建筑大学 基于脑机接口的智能轮椅***及其动作方法
CN106476281A (zh) * 2016-09-14 2017-03-08 西安科技大学 基于眨眼识别与视觉诱发的3d打印机控制方法
CN106476281B (zh) * 2016-09-14 2018-07-10 西安科技大学 基于眨眼识别与视觉诱发的3d打印机控制方法
CN106671084B (zh) * 2016-12-20 2019-11-15 华南理工大学 一种基于脑机接口的机械臂自主辅助方法
US11602300B2 (en) 2016-12-20 2023-03-14 South China University Of Technology Brain-computer interface based robotic arm self-assisting system and method
CN106671084A (zh) * 2016-12-20 2017-05-17 华南理工大学 一种基于脑机接口的机械臂自主辅助***及方法
CN107175673A (zh) * 2017-04-13 2017-09-19 中国农业大学 车型机器人控制***及方法
US11269414B2 (en) 2017-08-23 2022-03-08 Neurable Inc. Brain-computer interface with high-speed eye tracking features
US11972049B2 (en) 2017-08-23 2024-04-30 Neurable Inc. Brain-computer interface with high-speed eye tracking features
CN107553491A (zh) * 2017-09-15 2018-01-09 华南理工大学 一种脑控轮椅机械臂
US12001602B2 (en) 2017-11-13 2024-06-04 Neurable Inc. Brain-computer interface with adaptations for high-speed, accurate, and intuitive user interactions
CN108391049A (zh) * 2018-02-11 2018-08-10 广东欧珀移动通信有限公司 拍摄控制方法及相关设备
CN109240282A (zh) * 2018-07-30 2019-01-18 王杰瑞 一种可操纵智能医疗机器人
US10664050B2 (en) 2018-09-21 2020-05-26 Neurable Inc. Human-computer interface using high-speed and accurate tracking of user interactions
US11366517B2 (en) 2018-09-21 2022-06-21 Neurable Inc. Human-computer interface using high-speed and accurate tracking of user interactions
CN110575332A (zh) * 2019-08-29 2019-12-17 江苏大学 基于近红外主动立体视觉和脑电波技术的护理床及方法
CN110788868A (zh) * 2019-10-26 2020-02-14 内蒙古民族大学 一种残疾儿童专用绘画组合装置
CN112518743A (zh) * 2020-11-20 2021-03-19 南京航空航天大学 一种面向空间机械臂在轨操作的多模态神经解码控制***及方法

Similar Documents

Publication Publication Date Title
CN1927551A (zh) 一种视导脑声控的残障辅助机器人
CN104317196B (zh) 一种基于虚拟现实的上肢康复训练机器人控制方法
CN202223388U (zh) 一种可穿戴的脑控智能假肢
CN102309365A (zh) 一种可穿戴的脑控智能假肢
CN108433940A (zh) 基于轮椅车的上肢外骨骼机器人
Lin et al. EEG and eye-blinking signals through a Brain-Computer Interface based control for electric wheelchairs with wireless scheme
CN105012057B (zh) 基于双臂肌电、姿态信息采集的智能假肢及运动分类方法
US20220370048A1 (en) Portable oropharyngeal swab smart collection device
CN109662867A (zh) 基于Stewart平台改进的脚踝康复机构
CN113143676B (zh) 一种基于脑肌电协同的外肢体手指的控制方法
CN101816603B (zh) 带有康复机械臂的电动轮椅装置
CN109223441A (zh) 一种基于Kinect传感器的人体上肢康复训练及动作辅助***
CN109350446A (zh) 基于肌电信号的主被动结合上肢康复训练机器人***
Jung et al. Advanced robotic residence for the elderly/the handicapped: Realization and user evaluation
Lin et al. An FPGA-based brain-computer interface for wireless electric wheelchairs
CN1740950A (zh) 模块式非手动控制方法及其装置
CN201035360Y (zh) 视线跟踪装置
CN212825400U (zh) 一种可实现生物反馈及远程探望的智能医疗服务机器人
Shanmugasundar et al. Brain-computer interface of robot control with home automation for disabled
CN212575207U (zh) 太极康复训练仪
CN210757705U (zh) 一种增能型可穿戴式手臂及上肢外骨骼装置
CN201743801U (zh) 全机械功能代偿假手指
CN105287121B (zh) 电动轮椅的肘动装置
CN2525600Y (zh) 基于脑电信号的残疾人环境控制装置
CN100341473C (zh) 智慧型护士机器人

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20070314