CN108652851B - 基于视觉定位技术的眼控轮椅控制方法 - Google Patents

基于视觉定位技术的眼控轮椅控制方法 Download PDF

Info

Publication number
CN108652851B
CN108652851B CN201810051470.9A CN201810051470A CN108652851B CN 108652851 B CN108652851 B CN 108652851B CN 201810051470 A CN201810051470 A CN 201810051470A CN 108652851 B CN108652851 B CN 108652851B
Authority
CN
China
Prior art keywords
eye
user
wheelchair
angle
controlled
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810051470.9A
Other languages
English (en)
Other versions
CN108652851A (zh
Inventor
王泽新
焦李成
王浩然
孙其功
李玲玲
郭雨薇
唐旭
张梦旋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201810051470.9A priority Critical patent/CN108652851B/zh
Publication of CN108652851A publication Critical patent/CN108652851A/zh
Application granted granted Critical
Publication of CN108652851B publication Critical patent/CN108652851B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G5/00—Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs
    • A61G5/10—Parts, details or accessories
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G2203/00—General characteristics of devices
    • A61G2203/10—General characteristics of devices characterised by specific control means, e.g. for adjustment or steering
    • A61G2203/18—General characteristics of devices characterised by specific control means, e.g. for adjustment or steering by patient's head, eyes, facial muscles or voice
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/60—Other road transportation technologies with climate change mitigation effect
    • Y02T10/72—Electric energy management in electromobility

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于视觉定位技术的眼控轮椅控制方法，针对现有技术中眼部信息单一、多传感器间通信可靠性不高的问题。其实现过程是：(1)中央摄像头传输实时拍摄的每一帧彩色图像；(2)对每一帧的彩色图像确定使用者的人脸位置并框出矩形框；(3)在人脸矩形框区域内确定使用者的眼部区域；(4)在使用者的眼部区域内精确定位瞳孔位置；(5)确定使用者眼球的转动方位；(6)电机控制***控制轮椅转动。本发明提高了通过眼部信息控制轮椅的稳定性，能够在面对复杂环境下连续可靠的改变轮椅移动的速度和方向，减少了在多传感器模块之间进行通信的信息丢失。

Description

基于视觉定位技术的眼控轮椅控制方法
技术领域
本发明属于计算机技术领域，更进一步涉及人机交互技术领域中的一种基于视觉定位技术的眼控轮椅控制方法。本发明可供包括“渐冻人”在内的残障人士使用，实现通过使用者的眼球转动控制眼控轮椅，服务于“渐冻人”等行动不便的人群。
背景技术
目前，轮椅已成为行动不便的老年人、残疾人不可缺少的代步工具，适用对象十分广泛。对于包括渐冻人在内的残障人士，轮椅可以帮助他们移动、进行社会活动，但很多患者无法通过手动控制操纵轮椅，全身唯一可自由移动的部位只有眼睛，通过识别眼球运动对轮椅进行控制的研究便有了很大意义。目前，通过识别眼球运动对轮椅进行控制的技术尚未发展完善，较为成熟的做法是利用传感器检测的方法检测眼部运动状态，然后运用数学几何关系建立视线模型，最后识别出人眼部的运动信息，从而对轮椅进行相应的控制。
南京邮电大学在其申请的专利文献“基于眼部动作识别的智能轮椅人机交互控制***及方法”(专利申请号：CN201710531252.0，公开号：CN107260420A)中提出了一种通过识别眼部动作控制智能轮椅的方法。该方法通过肌电信号采集模块采集眼部肌电信号，根据眨眼时肌电特征变化差异实现对眨眼的判断，通过多种眨眼方式组合实现对轮椅方向的控制，对肌电信号进行对比，通过计算前后肌电信号的差值大小，实现对轮椅速度的控制。该方法存在的不足之处是，通过肌电信号采集模块识别人眨眼动作，只能通过眨眼一种动作进行控制，有效信息少，在方向和速度的控制上，一对多控制容易造成控制不稳定，在遇到复杂环境需要连续变化速度和方向的时候，难以仅通过眨眼动作进行控制。
韩俊在其发表的论文“基于脑电与眼电的电动轮椅控制方法研究”(《杭州电子科技大学》2015年)中提出了一种通过将采集的眼部电信号进行处理后控制轮椅的方法。该方法采集受试者眼球扫视下的眼电信号，通过对眼电信号的预处理、特征提取和模式分类，并将模式分类结果映射为命令，进而控制电动轮椅前进、左转、右转和停止。该方法存在的不足之处是，通过多种传感器模块之间的处理，实现对眼部信息的预测，信号在过多模块之间通信中容易造成信息丢失，控制精确度和实时性都很难保证。
目前，通过识别眼球转动对轮椅进行控制的技术尚存在很大缺陷，大都通过多种传感器获取眼球运动信息，识别的信息有限，实际应用存在困难，更没有针对“渐冻人”等残障人士的轮椅，基于此，我们提出基于视觉定位技术的眼控轮椅控制方法，帮助包括“渐冻人”在内的残障人士更好的控制轮椅。
发明内容
本发明的目的在于针对上述已有技术的不足，提出一种基于视觉定位技术的眼控轮椅控制方法，本发明采用通过视觉定位技术对普通摄像头拍摄的图像进行处理，达到实时精确控制轮椅移动的效果。
实现本发明目的的具体步骤如下：
所述方法是利用视觉定位技术控制眼控轮椅运动，该眼控轮椅上安装的左右万向轮上设置有左右支架，右支架上设置有用于拍摄使用者眼部运动信息的中央摄像头，眼控轮椅后面固定有用于执行本眼控轮椅算法，控制眼控轮椅移动的中央处理器和电机控制***，该方法的具体步骤包括如下：
(1)传输中央摄像头传输实时拍摄的每一帧彩色图像：
(1a)利用安装在眼控轮椅前方的摄像头，拍摄使用者的眼部运动信息；
(1b)将中央摄像头实时拍摄的每一帧彩色图像，传输到固定在眼控轮椅后的中央处理器；
(2)确定使用者的人脸位置的矩形框：
(2a)将每一帧彩色图像平均分成25个矩形区域，利用人脸线性Haar特征值计算方法，提取每一个区域中使用者的人脸线性Haar特征值；
(2b)用矩形框框出大于0的人脸线性Haar特征值所处的矩形区域，作为使用者的人脸矩形框；
(3)确定使用者的眼部区域：
(3a)将使用者的人脸矩形框平均分成25个矩形区域，计算每一个矩形区域内每个像素点的梯度值；
(3b)对每一个矩形区域内的梯度值求和取平均值，用矩形框框出梯度值大于平均值的矩形区域，作为使用者的眼部区域；
(4)确定最佳中心点：
利用中心点定位公式，从疑似为使用者眼部区域的中心点中，确定使用者眼部区域的最佳中心点；
(5)确定使用者眼球的转动方位和转动角度：
(5a)以使用者双眼看向前方时最佳中心点所处的位置为参考坐标点，用每一帧图像中使用者眼部区域的最佳中心点的横纵坐标值，分别减去参考坐标点的横纵坐标值，用两点横纵坐标值作差后的结果分别对使用者眼球转动方位进行定位；
(5b)对作差后的结果取绝对值，并在[0，1]区间进行归一化处理；
(5c)将[0，1]区间连续映射为眼控轮椅转动的角度值，0表示眼控轮椅转动的角度为0度，1表示转动的角度为90度；
(5d)将定位的眼球转动方位和角度信息转换为方位信号和角度信号传输到电机控制***；
(6)控制眼控轮椅转动：
电机控制***依据接收的方位信号和角度信号，控制电机转动的方向和角度，从而控制眼控轮椅移动的方向和角度。
本发明与现有的技术相比具有以下优点：
第一，由于本发明在右支架上设置有用于拍摄使用者眼部运动信息的中央摄像头，通过中央摄像头对使用者整个面部区域进行拍摄，克服了现有技术中通过单一传感器获取眼部信息得到的有效信息少，在轮椅移动方向和速度的控制上，一对多控制容易造成控制不稳定的问题。使得本发明提高了通过识别眼部运动信息控制轮椅的稳定性，能够在面对复杂环境时，连续可靠的改变轮椅移动的速度和方向。
第二，由于本发明将对拍摄图像的处理结果直接转化成控制指令，传输给电机控制***，而没有采用通过传感器采集眼部信号，在多个模块之间传输进行处理的方法，因此不需要在多个模块之间进行通信，克服了现有技术中多模块通信过程中信息丢失的问题。使得本发明提高了信息传输的可靠性，同时提高了控制轮椅移动的精确度和实时性。
附图说明
图1为本发明的流程图；
图2为本发明的眼控轮椅结构图。
具体实施方式
下面结合附图对本发明做进一步的描述。
参照图1，对本发明的具体步骤做进一步的描述。
步骤1，传输中央摄像头传输实时拍摄的每一帧彩色图像。
利用安装在眼控轮椅前方的摄像头，拍摄使用者的眼部运动信息。
将中央摄像头实时拍摄的每一帧彩色图像，传输到固定在眼控轮椅后的中央处理器。
步骤2，确定使用者的人脸位置的矩形框。
将每一帧彩色图像平均分成25个矩形区域，利用人脸线性Haar特征值计算方法，提取每一个区域中使用者的人脸线性Haar特征值。
所述的人脸线性Haar特征值计算方法的具体步骤如下：
对每一区域中每个像素点的红绿蓝RGB值取平均，得到每个像素点的灰度值。
对所有像素点中最大的灰度值和最小的灰度值求和后取平均，得到中间灰度值。
将大于中间灰度值的像素点设定为白色像素点，小于中间灰度值的像素点设定为黑色像素点。
用所有白色像素点值的和减去所有黑色像素点值的和，得到该区域内使用者的人脸线性Haar特征值。
用矩形框框出大于0的人脸线性Haar特征值所处的矩形区域，作为使用者的人脸矩形框。
步骤3，确定使用者的眼部区域。
将使用者的人脸矩形框平均分成25个矩形区域，计算每一个矩形区域内每个像素点的梯度值。
对每一个矩形区域内的梯度值求和取平均值，用矩形框框出梯度值大于平均值的矩形区域，作为使用者的眼部区域。
步骤4，确定最佳中心点。
利用中心点定位公式，从疑似为使用者眼部区域的中心点中，确定使用者眼部区域的最佳中心点。
所述的中心点定位公式如下：
Figure BDA0001552478090000051
其中，
Figure BDA0001552478090000052
表示使用者眼部区域内的最佳中心点，/>
Figure BDA0001552478090000053
表示对c的最大值取反操作，c表示使用者眼部区域内的疑似中心点，N表示使用者眼部区域内疑似中心点的总数，∑表示求和操作，i表示使用者眼部区域边缘上的像素点的序号，xi表示使用者眼部区域边缘上第i个像素点，||·||2表示取2范数操作，T表示转置操作，gi表示使用者眼部区域边缘上第i个像素点的梯度值。
步骤5，确定使用者眼球的转动方位和转动角度。
以使用者双眼看向前方时最佳中心点所处的位置为参考坐标点，用每一帧图像中使用者眼部区域的最佳中心点的横纵坐标值，分别减去参考坐标点的横纵坐标值，用两点横纵坐标值作差后的结果分别对使用者眼球转动方位进行定位。
所述的用两点横纵坐标值作差后的结果分别对使用者眼球转动方位进行定位是指：
两点的横坐标值做差后的结果为正数时，将使用者眼球运动定位向左转动。
两点的横坐标值做差后的结果为负数时，将使用者眼球运动定位向右转动。
两点的纵坐标值做差后的结果为正数时，将使用者眼球运动定位向上转动。
两点的纵坐标值做差后的结果为负数时，将使用者眼球运动定位向下转动。
对作差后的结果取绝对值，并在[0，1]区间进行归一化处理。
将[0，1]区间连续映射为眼控轮椅转动的角度值，0表示眼控轮椅转动的角度为0度，1表示转动的角度为90度。
将定位的眼球转动方位和角度信息转换为方位信号和角度信号传输到电机控制***。
步骤6，控制眼控轮椅转动。
电机控制***依据接收的方位信号和角度信号，控制电机转动的方向和角度，从而控制眼控轮椅移动的方向和角度。
所述的依据接收的方位信号和角度信号，控制电机转动的方向和角度是指：
若方位信号为定位的使用者眼球转动方位向左转动，则电机控制***控制电机左转，并依据接收到的角度信号控制电机转动的角度，从而控制眼控轮椅向左转动。
若方位信号为定位的使用者眼球转动方位向右转动，则电机控制***控制电机右转，并依据接收到的角度信号控制电机转动的角度，从而控制眼控轮椅向右转动。
若方位信号为定位的使用者眼球转动方位向上转动，则电机控制***控制电机前转，并依据接收到的角度信号控制电机转动的角度，从而控制眼控轮椅向前移动。
若方位信号为定位的使用者眼球转动方位向下转动，则电机控制***控制电机后转，并依据接收到的角度信号控制电机转动的角度，从而控制眼控轮椅向后移动。
参照附图2眼控轮椅的结构示意图，对本发明实现的具体步骤做进一步的描述。
眼控轮椅上设置有左支架1和右支架2，右支架2上设置有用于拍摄使用者眼部运动信息的中央摄像头3，将该摄像头实时拍摄的使用者眼部的彩色图像，发送到中央处理器4，中央处理器4对接收的彩色图像进行实时处理，识别眼球转动方位和角度等信息，并将其转换为相应的控制信号，实时传输到电机控制***5。电机控制***5依据接收的控制信号控制电机转动的方向和角度，从而控制眼控轮椅进行左转、右转、前进、后退等移动。
使用眼控轮椅时，首先将左支架和右支架打开，帮助使用者坐入轮椅，将坐姿调整到舒适位置后闭合左支架和右支架，并按照使用者的坐姿调整中央摄像头的方位和方向，启动眼控轮椅。眼控轮椅启动后，中央摄像头开始拍摄使用者的眼部彩色图像，并将彩色图像传输至中央处理器进行处理，中央处理器将处理后的控制信号发送到电机控制***，电机控制***依据接收的控制信号控制电机转动，从而带动眼控轮椅进行相应的移动。具体的，当使用者眼球向左(右)转动时，中央处理器处理后，通过电机控制***控制电机带动眼控轮椅向左(右)转动；当使用者眼球向上(下)转动时，中央处理器处理后，通过电机控制***控制电机带动眼控轮椅向前(后)移动，在使用过程中，同时闭合的左支架和右支架用于保护使用者的安全。眼控轮椅使用结束后，关闭眼控轮椅电源，将左支架和右支架打开，帮助使用者起身离开眼控轮椅。

Claims (5)

1.一种基于视觉定位技术的眼控轮椅控制方法，其特征在于，所述眼控轮椅的右支架上设置有用于拍摄使用者眼部运动信息的中央摄像头，将该摄像头实时拍摄的使用者眼部的彩色图像，发送到中央处理器进行处理，用于控制电机转动的方向和角度，从而实现对眼控轮椅移动方向和角度的控制，该方法的具体步骤包括如下：
(1)传输中央摄像头传输实时拍摄的每一帧彩色图像：
(1a)利用安装在眼控轮椅前方的摄像头，拍摄使用者的眼部运动信息；
(1b)将中央摄像头实时拍摄的每一帧彩色图像，传输到固定在眼控轮椅后的中央处理器；
(2)确定使用者的人脸位置的矩形框：
(2a)将每一帧彩色图像平均分成25个矩形区域，利用人脸线性Haar特征值计算方法，提取每一个区域中使用者的人脸线性Haar特征值；
(2b)用矩形框框出大于0的人脸线性Haar特征值所处的矩形区域，作为使用者的人脸矩形框；
(3)确定使用者的眼部区域：
(3a)将使用者的人脸矩形框平均分成25个矩形区域，计算每一个矩形区域内每个像素点的梯度值；
(3b)对每一个矩形区域内的梯度值求和取平均值，用矩形框框出梯度值大于平均值的矩形区域，作为使用者的眼部区域；
(4)确定最佳中心点：
利用中心点定位公式，从疑似为使用者眼部区域的中心点中，确定使用者眼部区域的最佳中心点；
(5)确定使用者眼球的转动方位和转动角度：
(5a)以使用者双眼看向前方时最佳中心点所处的位置为参考坐标点，用每一帧图像中使用者眼部区域的最佳中心点的横纵坐标值，分别减去参考坐标点的横纵坐标值，用两点横纵坐标值作差后的结果分别对使用者眼球转动方位进行定位；
(5b)对作差后的结果取绝对值，并在[0，1]区间进行归一化处理；
(5c)将[0，1]区间连续映射为眼控轮椅转动的角度值，0表示眼控轮椅转动的角度为0度，1表示转动的角度为90度；
(5d)将定位的眼球转动方位和角度信息转换为方位信号和角度信号传输到电机控制***；
(6)控制眼控轮椅转动：
电机控制***依据接收的方位信号和角度信号，控制电机转动的方向和角度，从而控制眼控轮椅移动的方向和角度。
2.根据权利要求1所述的基于视觉定位技术的眼控轮椅控制方法，其特征在于，步骤(2a)中所述的人脸线性Haar特征值计算方法的具体步骤如下：
第一步，对每一区域中每个像素点的红绿蓝RGB值取平均，得到每个像素点的灰度值；
第二步，对所有像素点中最大的灰度值和最小的灰度值求和后取平均，得到中间灰度值；
第三步，将大于中间灰度值的像素点设定为白色像素点，小于中间灰度值的像素点设定为黑色像素点；
第四步，用所有白色像素点值的和减去所有黑色像素点值的和，得到该区域内使用者的人脸线性Haar特征值。
3.根据权利要求1所述的基于视觉定位技术的眼控轮椅控制方法，其特征在于，步骤(4)中所述的中心点定位公式如下：
Figure FDA0001552478080000021
其中，
Figure FDA0001552478080000022
表示使用者眼部区域内的最佳中心点，/>
Figure FDA0001552478080000023
表示对c的最大值取反操作，c表示使用者眼部区域内的疑似中心点，N表示使用者眼部区域内疑似中心点的总数，∑表示求和操作，i表示使用者眼部区域边缘上的像素点的序号，xi表示使用者眼部区域边缘上第i个像素点，||·||2表示取2范数操作，T表示转置操作，gi表示使用者眼部区域边缘上第i个像素点的梯度值。
4.根据权利要求1所述的基于视觉定位技术的眼控轮椅控制方法，其特征在于，步骤(5a)中所述的用两点横纵坐标值作差后的结果分别对使用者眼球转动方位进行定位是指：
A.两点的横坐标值做差后的结果为正数时，将使用者眼球运动定位向左转动；
B.两点的横坐标值做差后的结果为负数时，将使用者眼球运动定位向右转动；
C.两点的纵坐标值做差后的结果为正数时，将使用者眼球运动定位向上转动；
D.两点的纵坐标值做差后的结果为负数时，将使用者眼球运动定位向下转动。
5.根据权利要求1所述的基于视觉定位技术的眼控轮椅控制方法，其特征在于，步骤(6)中所述的依据接收的方位信号和角度信号，控制电机转动的方向和角度是指：
若方位信号为定位的使用者眼球转动方位向左转动，则电机控制***控制电机左转，并依据接收到的角度信号控制电机转动的角度，从而控制眼控轮椅向左转动；
若方位信号为定位的使用者眼球转动方位向右转动，则电机控制***控制电机右转，并依据接收到的角度信号控制电机转动的角度，从而控制眼控轮椅向右转动；
若方位信号为定位的使用者眼球转动方位向上转动，则电机控制***控制电机前转，并依据接收到的角度信号控制电机转动的角度，从而控制眼控轮椅向前移动；
若方位信号为定位的使用者眼球转动方位向下转动，则电机控制***控制电机后转，并依据接收到的角度信号控制电机转动的角度，从而控制眼控轮椅向后移动。
CN201810051470.9A 2018-01-19 2018-01-19 基于视觉定位技术的眼控轮椅控制方法 Active CN108652851B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810051470.9A CN108652851B (zh) 2018-01-19 2018-01-19 基于视觉定位技术的眼控轮椅控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810051470.9A CN108652851B (zh) 2018-01-19 2018-01-19 基于视觉定位技术的眼控轮椅控制方法

Publications (2)

Publication Number Publication Date
CN108652851A CN108652851A (zh) 2018-10-16
CN108652851B true CN108652851B (zh) 2023-06-30

Family

ID=63784054

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810051470.9A Active CN108652851B (zh) 2018-01-19 2018-01-19 基于视觉定位技术的眼控轮椅控制方法

Country Status (1)

Country Link
CN (1) CN108652851B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200229998A1 (en) * 2018-11-14 2020-07-23 Ohad Paz Smart tilting/lifting chair with the ability to tilt user to vertical position
CN112835444A (zh) * 2019-11-25 2021-05-25 七鑫易维(深圳)科技有限公司 眼控一体机使用角度的调整方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105105938A (zh) * 2015-07-14 2015-12-02 南京邮电大学 基于人脸朝向识别与跟踪的智能轮椅控制方法及***
CN105892691A (zh) * 2016-06-07 2016-08-24 京东方科技集团股份有限公司 代步工具的控制方法和控制装置、代步工具***
KR101781361B1 (ko) * 2017-01-25 2017-09-26 대한민국 얼굴 비교를 통한 개인 식별 방법
CN107260420A (zh) * 2017-07-03 2017-10-20 南京邮电大学 基于眼部动作识别的智能轮椅人机交互控制***及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105105938A (zh) * 2015-07-14 2015-12-02 南京邮电大学 基于人脸朝向识别与跟踪的智能轮椅控制方法及***
CN105892691A (zh) * 2016-06-07 2016-08-24 京东方科技集团股份有限公司 代步工具的控制方法和控制装置、代步工具***
KR101781361B1 (ko) * 2017-01-25 2017-09-26 대한민국 얼굴 비교를 통한 개인 식별 방법
CN107260420A (zh) * 2017-07-03 2017-10-20 南京邮电大学 基于眼部动作识别的智能轮椅人机交互控制***及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
混合肌电眼电及视觉的智能轮椅控制***研究;张毅;崔润东;罗元;;控制工程(第01期);全文 *

Also Published As

Publication number Publication date
CN108652851A (zh) 2018-10-16

Similar Documents

Publication Publication Date Title
US11602300B2 (en) Brain-computer interface based robotic arm self-assisting system and method
CN110210323B (zh) 一种基于机器视觉的溺水行为在线识别方法
Gajwani et al. Eye motion tracking for wheelchair control
CN102841354B (zh) 一种具有显示屏幕的电子设备的保护视力实现方法
CN108652851B (zh) 基于视觉定位技术的眼控轮椅控制方法
CN104238732B (zh) 侦测脸部动作以产生讯号的装置、方法以及计算机可读取纪录媒体
CN108171218A (zh) 一种基于深度外观注视网络的视线估计方法
CN104992189B (zh) 基于深度学习网络模型的鱼群异常行为识别方法
CN109366508A (zh) 一种基于bci的高级机械臂控制***及其实现方法
CN112114670B (zh) 一种基于混合脑机接口的人机共驾***及其控制方法
CN101032404A (zh) 疲劳工作在线预警***及其预警方法
CN111735541A (zh) 一种移动式体温监测机器人
CN110716578A (zh) 一种基于混合型脑机接口的飞行器控制***及其控制方法
CN116503794A (zh) 一种驾驶舱机组的疲劳检测方法
Karuppiah et al. Automation of a wheelchair mounted robotic arm using computer vision interface
CN113160260B (zh) 一种头眼双通道智能人机交互***及运行方法
CN113887374B (zh) 一种基于动态收敛微分神经网络的脑控喝水***
McMurrough et al. 3D point of gaze estimation using head-mounted RGB-D cameras
CN108743086B (zh) 用于跟踪前方陪护人员目标的智能轮椅控制方法
CN110674751A (zh) 一种基于单目摄像机检测头部姿态的装置及方法
Viswanatha et al. An Intelligent Camera Based Eye Controlled Wheelchair System: Haar Cascade and Gaze Estimation Algorithms
CN111178216B (zh) 一种基于姿态时空特征的考场异常行为识别方法
Hapsani et al. Onward movement detection and distance estimation of object using disparity map on stereo vision
Yoda et al. Development of head gesture interface for electric wheelchair
CN115590695B (zh) 一种基于眼电和人脸识别的轮椅控制***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant