CN102156539B - 一种基于眼动扫描的目标物体识别方法 - Google Patents
一种基于眼动扫描的目标物体识别方法 Download PDFInfo
- Publication number
- CN102156539B CN102156539B CN2011100754857A CN201110075485A CN102156539B CN 102156539 B CN102156539 B CN 102156539B CN 2011100754857 A CN2011100754857 A CN 2011100754857A CN 201110075485 A CN201110075485 A CN 201110075485A CN 102156539 B CN102156539 B CN 102156539B
- Authority
- CN
- China
- Prior art keywords
- target object
- electro
- ocular signal
- eye
- nictation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 230000004424 eye movement Effects 0.000 title claims abstract description 11
- 210000001508 eye Anatomy 0.000 claims abstract description 55
- 210000005252 bulbus oculi Anatomy 0.000 claims description 13
- 210000000624 ear auricle Anatomy 0.000 claims description 4
- 210000003128 head Anatomy 0.000 claims description 3
- 238000011217 control strategy Methods 0.000 abstract description 3
- 230000003993 interaction Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 9
- 230000005611 electricity Effects 0.000 description 8
- 230000001276 controlling effect Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000000875 corresponding effect Effects 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 229910021607 Silver chloride Inorganic materials 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- HKZLPVFGJNLROG-UHFFFAOYSA-M silver monochloride Chemical compound [Cl-].[Ag+] HKZLPVFGJNLROG-UHFFFAOYSA-M 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
Images
Landscapes
- Eye Examination Apparatus (AREA)
Abstract
本发明公开了一种基于眼动扫描的目标物体识别方法。它利用使用者用双眼扫描目标物体的边界时采集的眼电信号，重建出目标物体的形状，然后根据重建出的目标物体的形状计算目标物体的长度、宽度以及与水平方向的夹角。识别出的目标物体的信息可以进一步用于假手、假肢等外部设备的控制，实现人机交互。本发明区别于传统的基于眼电直接控制的人机交互方法，实现了一种间接控制策略，达到现有技术不能实现的精确高效控制。
Description
技术领域
本发明涉及一种基于眼动扫描的目标物体识别方法。
背景技术
人的眼球是一个角膜端为正极、视网膜端为负极的双极性球体，当在眼睛周围适当的位置放置电极后，可以采集到该视网膜静息电位，称为眼电（Electro-Oculogram，简称EOG）。当眼球上下、左右转动时，就可以分别在垂直、水平通道采集到相应的眼电电位的变化，并且在转动角度小于30度的情况下，眼球所转动角度与眼电幅值是呈单调线性关系的。同时，由于眼电信号较其他生理信号（如脑电、心电）幅度较强，信号比较直观，采集方便，从上世纪80年代以来，眼电已经作为一种新型的人机接口控制源被广泛研究。基于眼电开发的应用包括眼电鼠标、打字、轮椅控制、智能家居等。
传统的基于眼电的人机接口***根据输出信号的类型可分为两种：一是离散的开关量，将眼电信号映射为离散的命令序列，如上、下、左、右、眨眼等；二是连续的控制量，基于眼球转动角度与眼电幅值线性的关系，将眼球的转动映射连续的位移，如屏幕的鼠标。前一种***实现简单，控制稳定，但能开发的应用单一；后一种***可以实现连续的控制，但***不稳定，眼电信号漂移造成控制的不精确。可以看出，传统的眼电***是从眼电信号本身直接提取控制信号（离散或连续的）来控制外部设备的。这种控制方式需要眼睛一直参与控制过程，容易造成眼睛的疲劳；且控制过程中的每一个细节都需要眼电来指导，不能实现高效的控制。
发明内容
本发明的目的是提供一种基于眼动扫描的目标物体识别方法，
本发明实现上述目的所采取的技术手段是：该基于眼动扫描的目标物体识别方法包括如下步骤：
（1）在使用者的眼部周围贴有五个电极，所述五个电极分别位于距使用者右眼外眼角的水平距离2.5厘米处、右眼眼球上方距右眼眼球中心竖直距离2厘米处、右眼眼球下方距右眼眼球中心竖直距离2厘米处、距左眼外眼角的水平距离2.5厘米处和其中一个耳朵的耳垂处；
（2）使用者的视线固定于目标物体上，在保持头部不动的状态下，第一次连续两次眨眼，接着用双眼扫描目标物体的边界，扫描结束后再第二次连续两次眨眼，分别在第一次连续两次眨眼、第二次两次连续眨眼和所述扫描的同时由各所述电极分别采集使用者眼球转动时所产生的水平和垂直通道的眼电信号；
（3）从步骤（2）所采集的垂直通道的眼电信号中分别识别出第一次连续两次眨眼和第二次连续两次眨眼所产生的眼电信号；
（4）利用第一个连续两次眨眼所产生的眼电信号和第二个连续两次眨眼所产生的眼电信号标定出所述扫描产生的眼电信号，并根据所述扫描产生的眼电信号重建出目标物体的形状；
（5）根据重建出的目标物体的形状计算目标物体的长度、宽度以及该目标物体与水平方向的夹角。
进一步地，本发明中，使用者在第一次连续两次眨眼时，将眼睛的视线固定在目标物体的右下角；使用者是通过将双眼视线以恒定的速度按逆时针方向沿目标物体的边界移动一圈来实现步骤（2）所述的“用双眼扫描目标物体的边界”；使用者在第二次连续两次眨眼时，是将眼睛的视线固定在目标物体的右下角。
进一步地，本发明步骤（4）所述的“重建出目标物体的形状”的方法是：将所述扫描产生的水平通道和垂直通道的眼电信号分别作为横坐标值、纵坐标值，根据所述横坐标值和纵坐标值在二维平面内画出所述目标物体的形状。
相对于现有技术，本发明具有以下优点：（1）利用两次连续两次眨眼之间的扫描信号估计目标物体，可以最大限度减少眼电漂移的影响；（2）整个控制过程中不需要眼睛一直参与，可以减少眼睛的疲劳，延长控制时间；（3）本发明方法区别于传统的基于眼电的人机交互***，从不同于传统方法的另外一个角度出发，可从眼电信号中提取出目标物体的长度、宽度以及该目标物体与水平方向的夹角；识别出的目标物体的信息可以进一步用于假手、假肢等外部设备的控制，实现人机交互，这样可以避免眼电信号直接控制外部设备的局限性，实现了一种间接控制策略，从而实现精确高效的识别控制和交互。
附图说明
图1为本发明方法的流程框图；
图2为本发明眼电电极布置示意图；
图3为本发明眼电信号处理框图；
图4为本发明垂直通道眼电信号差分信号图，其中（a）是垂直通道原始眼电信号，（b）是（a）中垂直通道眼电信号差分后的结果；
图5为本发明目标物体大小和方向的计算识别示意图,其中，（a）是目标物体示意图，（b）是扫描（a）时重建的目标物体及拟合的椭圆示意图。
具体实施方式
下面结合附图和实例对本发明作进一步详细说明。
如图1所示，本发明基于眼动扫描的目标物体识别方法具体步骤如下：
使用者首先将电极贴于使用者眼部周围的特定位置，并开始采集眼动产生的水平与垂直通道的眼电信号。目标物体一般置于使用者面前约70厘米的地方。使用者调整坐姿开始扫描目标物体。首先使用者的视线固定于目标物体的右下角，在保持头部不动的状态下，连续两次眨眼，接着用双眼扫描目标物体的边界。本实施例中，“用双眼扫描目标物体的边界”的一种具体做法是；使用者将双眼视线以恒定的速度按逆时针方向沿目标物体的边界移动一圈。扫描结束后视线回到目标物体的右下角，再第二次连续两次眨眼，整个扫描过程结束。记录的眼电信号存储在计算机内，用于后续分析处理。
本实施例所用电极为Ag/AgCl一次性电极，共有五个。如图2 所示，五个电极分别位于距使用者右眼外眼角的水平距离2.5厘米处（位于右眼右侧）、右眼眼球上方距右眼眼球中心竖直距离2厘米处、右眼眼球下方距右眼眼球中心竖直距离2厘米处、距左眼外眼角的水平距离2.5厘米处（位于左眼左侧）和其中一个耳朵的耳垂处。其中，右眼上、下的两个电极采集到的信号做差分即可得到垂直通道眼电信号，左眼左侧、右眼右侧电极采集到的信号做差分即可得到水平通道眼电信号，耳垂处的电极作为参考地信号。
采集的垂直与水平通道的眼电信号处理框图如图3所示。首先眼电信号通过截止频率为20Hz的4阶低通巴特沃兹滤波器，以去除眼电信号以外的其他干扰信号，如肌电、工频干扰等。然后，对垂直通道眼电信号进行差分，通过阈值法识别出第一次连续两次眨眼和第二次连续两次眨眼所产生的眼电信号。
图4为垂直通道眼电信号差分信号图，其中图4（a）是垂直通道原始眼电信号，在开始和结束的位置包含两个连续两次眨眼动作；图4（b）是图4（a）中眼电信号差分后的信号图，眼电信号差分后，连续两次眨眼信号变成两个连续的波峰和波谷，同时可以去除眼电信号的漂移成分，能更好用阈值法检测连续两次眨眼。图4（b）中的两条水平的横线为预先设定的上下两个阈值，该阈值的选取因人而异，一般选±2即可。当垂直通道眼电差分信号依次以一定的时序通过上下两个阈值时，即检测到连续两次眨眼。
本实施例中，第一次和第二次连续两次眨眼是用来标定扫描的开始和结束的。利用第一次连续两次眨眼所产生的眼电信号和第二次连续两次眨眼所产生的眼电信号，可以标定出扫描的开始和结束，并提取出扫描时产生的垂直通道和水平通道眼电信号。根据所述扫描产生的眼电信号重建出目标物体的形状，最后根据重建出的目标物体的形状计算目标物体的长度、宽度以及该目标物体与水平方向的夹角,由此识别出目标物体的信息。
图5所示为本发明目标物体大小和方向的计算识别示意图,其中，图5（a）是目标物体的示意图，该目标物体在二维平面的投影近似为一长方形，其长轴与水平方向的夹角为30度；图5（b）是扫描该目标物体时重建的目标物体形状及计算该目标物体的长度、宽度以及该目标物体与水平方向的夹角时拟合的椭圆示意图。这里，重建目标物体的形状的方法是：将扫描产生的水平通道和垂直通道的眼电信号，即两次连续两次眨眼之间的信号，分别作为横坐标值、纵坐标值，然后根据横坐标值和纵坐标值在二维平面内画出所述目标物体的形状。从图5（b）中可以看出，重建出的目标物体与实际的物体形状基本相似，可以从重建的形状计算出目标物体的长度、宽度以及该目标物体与水平方向的夹角。
本实施例中，目标物体的长度、宽度以及该目标物体与水平方向的夹角的计算是通过将重建出的目标物体的形状用直接最小二乘法拟合为椭圆，并将椭圆的长轴和短轴分别作为目标物体的长度和宽度，椭圆长轴与水平方向的夹角作为目标物体与水平方向的夹角。
采用本发明方法得到的目标物体的信息，可以进一步用于控制外部设备。例如，作为本发明方法的其中一个应用，可以实现基于眼动扫描的机械假手控制，将本发明方法得到的目标物体长度、宽度以及该目标物体与水平方向的夹角信息输入机械假手控制模块，控制模块根据目标物体的信息，计算得到关于抓握该物体时的手的形状与朝向，并控制机械假手完成相应的动作，实现一次成功的抓握。这种控制策略可以结合人眼对物体形状的智能判断和机械模块对机械假手的精确控制，是一种间接的控制方法，避免了直接控制的局限性。
Claims (2)
1.一种基于眼动扫描的目标物体识别方法，其特征是包括如下步骤：
（1）在使用者的眼部周围贴有五个电极，所述五个电极分别位于距使用者右眼外眼角的水平距离2.5厘米处、右眼眼球上方距右眼眼球中心竖直距离2厘米处、右眼眼球下方距右眼眼球中心竖直距离2厘米处、距左眼外眼角的水平距离2.5厘米处和其中一个耳朵的耳垂处；
（2）使用者的视线固定于目标物体上，在保持头部不动的状态下，第一次连续两次眨眼，接着用双眼扫描目标物体的边界，扫描结束后再第二次连续两次眨眼，分别在第一次连续两次眨眼、第二次两次连续眨眼和所述扫描的同时由各所述电极分别采集使用者眼球转动时所产生的水平和垂直通道的眼电信号；
（3）从步骤（2）所采集的垂直通道的眼电信号中分别识别出第一次连续两次眨眼和第二次连续两次眨眼所产生的眼电信号；
（4）利用第一个连续两次眨眼所产生的眼电信号和第二个连续两次眨眼所产生的眼电信号标定出所述扫描产生的眼电信号，并按以下方法根据所述扫描产生的眼电信号重建出目标物体的形状：
将所述扫描产生的水平通道和垂直通道的眼电信号分别作为横坐标值、纵坐标值，根据所述横坐标值和纵坐标值在二维平面内画出所述目标物体的形状；
（5）根据重建出的目标物体的形状计算目标物体的长度、宽度以及该目标物体与水平方向的夹角。
2.根据权利要求1所述的基于眼动扫描的目标物体识别方法，其特征是：
使用者在第一次连续两次眨眼时，将眼睛的视线固定在目标物体的右下角；
使用者是通过将双眼视线以恒定的速度按逆时针方向沿目标物体的边界移动一圈来实现步骤（2）所述的“用双眼扫描目标物体的边界”；
使用者在第二次连续两次眨眼时，是将眼睛的视线固定在目标物体的右下角。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2011100754857A CN102156539B (zh) | 2011-03-28 | 2011-03-28 | 一种基于眼动扫描的目标物体识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2011100754857A CN102156539B (zh) | 2011-03-28 | 2011-03-28 | 一种基于眼动扫描的目标物体识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102156539A CN102156539A (zh) | 2011-08-17 |
| CN102156539B true CN102156539B (zh) | 2012-05-02 |
Family
ID=44438062
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2011100754857A Expired - Fee Related CN102156539B (zh) | 2011-03-28 | 2011-03-28 | 一种基于眼动扫描的目标物体识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102156539B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI569210B (zh) * | 2013-11-26 | 2017-02-01 | Nat Kaohsiung First Univ Of Science And Tech | Non - invasive brain wave eye movement input control device |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102830797B (zh) * | 2012-07-26 | 2015-11-25 | 深圳先进技术研究院 | 一种基于视线判断的人机交互方法及*** |
| JP5888205B2 (ja) * | 2012-11-02 | 2016-03-16 | ソニー株式会社 | 画像表示装置並びに情報入力装置 |
| CN108175547A (zh) * | 2018-01-30 | 2018-06-19 | 浙江省公众信息产业有限公司 | 人工假体的控制方法、装置及计算机可读存储介质 |
| CN108874148A (zh) * | 2018-07-16 | 2018-11-23 | 北京七鑫易维信息技术有限公司 | 一种图像处理方法及装置 |
| CN113359996A (zh) * | 2021-08-09 | 2021-09-07 | 季华实验室 | 生活辅助机器人控制***、方法、装置及电子设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101308400A (zh) * | 2007-05-18 | 2008-11-19 | 肖斌 | 基于眼动和头动检测的新型人机交互装置 |
| CN101644952A (zh) * | 2009-06-04 | 2010-02-10 | 浙江大学 | 基于眼电图信号的便携式无线人机交互*** |
| TW201042482A (en) * | 2009-05-19 | 2010-12-01 | Nat Univ Chung Hsing | Three dimensional controlling device by using electroencephalogram (EEG) and electro-oculogram (EOG) and method thereof |
-
2011
- 2011-03-28 CN CN2011100754857A patent/CN102156539B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101308400A (zh) * | 2007-05-18 | 2008-11-19 | 肖斌 | 基于眼动和头动检测的新型人机交互装置 |
| TW201042482A (en) * | 2009-05-19 | 2010-12-01 | Nat Univ Chung Hsing | Three dimensional controlling device by using electroencephalogram (EEG) and electro-oculogram (EOG) and method thereof |
| CN101644952A (zh) * | 2009-06-04 | 2010-02-10 | 浙江大学 | 基于眼电图信号的便携式无线人机交互*** |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI569210B (zh) * | 2013-11-26 | 2017-02-01 | Nat Kaohsiung First Univ Of Science And Tech | Non - invasive brain wave eye movement input control device |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102156539A (zh) | 2011-08-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102156539B (zh) | 一种基于眼动扫描的目标物体识别方法 | |
| US11602300B2 (en) | Brain-computer interface based robotic arm self-assisting system and method | |
| CN109992113B (zh) | 一种基于多场景诱发的mi-bci***及其控制方法 | |
| CN102309366B (zh) | 用眼动信号控制上假肢运动的控制***和控制方法 | |
| CN103212156B (zh) | 基于本体镜像原理的偏瘫患者自主康复仪 | |
| CN103845137B (zh) | 基于稳态视觉诱发脑机接口的机器人控制方法 | |
| Hartmann et al. | Closed-loop control of myoelectric prostheses with electrotactile feedback: influence of stimulation artifact and blanking | |
| CN103892829B (zh) | 一种基于共同空间模式的眼动信号识别***及其识别方法 | |
| CN104382595A (zh) | 基于肌电信号与虚拟现实交互技术的上肢康复***及方法 | |
| CN111096796B (zh) | 全自动静脉穿刺机器人多层控制*** | |
| Aungsakun et al. | Robust eye movement recognition using EOG signal for human-computer interface | |
| CN109875863A (zh) | 基于双目视觉与脑力影像训练的头戴式vr视力提升*** | |
| CN109521880B (zh) | 一种基于混合生物电信号驱动的遥操作机器人***及方法 | |
| CN110134240A (zh) | 基于脑电与头姿混合接口的机器人轮椅控制*** | |
| CN110882150A (zh) | 一种基于视觉定位的按摩机器人穴位跟踪*** | |
| CN107875526A (zh) | 一种眼部肿瘤自适应放射治疗时放疗仪器的精准控制方法 | |
| Duvinage et al. | Control of a lower limb active prosthesis with eye movement sequences | |
| CN104997582B (zh) | 基于眼部和下颌肌电信号对智能假肢的控制装置及方法 | |
| CN104971433B (zh) | 人工与自主控制融合的功能性电刺激运动康复***及方法 | |
| CN108543216A (zh) | 一种基于主从控制的手部功能重建装置及其实现方法 | |
| CN208725704U (zh) | 基于虹膜识别的人体健康检测*** | |
| Nakanishi et al. | Wheelchair control system by using electrooculogram signal processing | |
| CN109568891A (zh) | 基于脑电的康复机器人主被动训练模式控制***及方法 | |
| Katoh et al. | Optimal selection of electrodes for muscle electrical stimulation using twitching motion measurement | |
| CN113426007B (zh) | 一种用于上肢功能恢复的闭环硬脊膜外电刺激*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20120502 Termination date: 20210328 |