CN106886290A - 一种眼动控制方法及装置 - Google Patents

一种眼动控制方法及装置 Download PDF

Info

Publication number
CN106886290A
CN106886290A CN201710226282.0A CN201710226282A CN106886290A CN 106886290 A CN106886290 A CN 106886290A CN 201710226282 A CN201710226282 A CN 201710226282A CN 106886290 A CN106886290 A CN 106886290A
Authority
CN
China
Prior art keywords
picture
eye
blink
pupil
right eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710226282.0A
Other languages
English (en)
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leisure Smart (shenzhen) Technology Co Ltd
Original Assignee
Leisure Smart (shenzhen) Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leisure Smart (shenzhen) Technology Co Ltd filed Critical Leisure Smart (shenzhen) Technology Co Ltd
Priority to CN201710226282.0A priority Critical patent/CN106886290A/zh
Publication of CN106886290A publication Critical patent/CN106886290A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明涉及一种眼动控制方法及装置，其中方法包括：步骤1：通过摄像头以预设时间间隔持续分别获取左眼和右眼的眼部图片；步骤2：通过图像分析，判断在同一时刻左眼和右眼眼部图片分别为睁眼图片还是闭眼图片；步骤3：在左眼图片和右眼图片其中一幅为眨眼图片时，即单眼眨眼时，计数连续获取的眨眼图片帧数；步骤4：将计数值与预设的第一阈值进行比较，若计数值大于预设的第一阈值，则输出眨眼控制指令。本发明方法只有在单眼眨眼时，才对眨眼图片持续产生的帧数进行分析，当持续时间超过预设的第一时间阈值时，才认为是控制眨眼，从而输出眨眼控制指令，判断流程简单易执行，且很好的解决了误眨眼或正常眨眼对眨眼控制判断的影响。

Description

一种眼动控制方法及装置
技术领域
本发明涉及智能硬件技术领域，更具体地说，涉及一种眼动控制方法及装置。
背景技术
在人机交互技术领域，尽管当前已经有许多新兴交互方式的尝试，比如体感交互、眼动跟踪、语音交互、生物识别等方式，但大部分的交互方式使用率都不是非常高，也还未进入真正意义上的商业应用普及中，更没有哪种人机交互方式，能够达到人可以毫无障碍、随心所欲地和设备(机器)交流的水平。除了逐渐普及了的多点触控交互方式以外，其他大部分的人机交互方式在技术以及使用稳定性上还有待突围。
发明内容
本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种高效控制指令输出的眼动控制方法及装置。
本发明解决其技术问题所采用的技术方案是：
构造一种眼动控制方法，其中，包括以下步骤：
步骤1：通过摄像头以预设时间间隔持续分别获取左眼和右眼的眼部图片；
步骤2：通过图像分析，判断在同一时刻左眼和右眼眼部图片分别为睁眼图片还是闭眼图片；
步骤3：在左眼图片和右眼图片其中一幅为眨眼图片时，即单眼眨眼时，计数连续获取的眨眼图片帧数；
步骤4：将计数值与预设的第一阈值进行比较，若计数值大于预设的第一阈值，则输出眨眼控制指令。
本发明所述的眼动控制方法，其中，所述步骤3还包括：
在所获取的左眼图片和右眼图片同时为闭眼图片时，认为是正常闭眼动作，忽略该图片。
本发明所述的眼动控制方法，其中，所述步骤3还包括：
在所获取的左眼图片和右眼图片同时为睁眼图片时，对当前帧眼部图片进行分析，提取其中瞳孔周围图片，计算当前帧眼部图片的瞳孔周围图片面积并存储，所述瞳孔周围图片包括眼眶内侧边缘与瞳孔外侧边缘之间的图片，根据所存储的多个眼动状态下瞳孔周围图片面积的变化趋势判断眼动方向。
本发明所述的眼动控制方法，其中，所述预设时间间隔为35-50ms。
本发明还提供了一种眼动控制装置，其中，包括：
摄像模块，用于通过摄像头以预设时间间隔持续分别获取左眼和右眼的眼部图片；
图像分析模块，用于通过图像分析，判断在同一时刻左眼和右眼眼部图片分别为睁眼图片还是闭眼图片；
处理器模块，用于在左眼图片和右眼图片其中一幅为眨眼图片时，即单眼眨眼时，计数连续获取的眨眼图片帧数；
比较模块，用于将计数值与预设的第一阈值进行比较，若计数值大于预设的第一阈值，则输出眨眼控制指令。
本发明所述的眼动控制装置，其中，所述处理器模块，还用于在所获取的左眼图片和右眼图片同时为闭眼图片时，认为是正常闭眼动作，忽略该图片。
本发明所述的眼动控制装置，其中，所述处理器模块，还用于在所获取的左眼图片和右眼图片同时为睁眼图片时，对当前帧眼部图片进行分析，提取其中瞳孔周围图片，计算当前帧眼部图片的瞳孔周围图片面积并存储，所述瞳孔周围图片包括眼眶内侧边缘与瞳孔外侧边缘之间的图片，根据所存储的多个眼动状态下瞳孔周围图片面积的变化趋势判断眼动方向。
本发明所述的眼动控制装置，其中，所述预设时间间隔为35-50ms。
本发明的有益效果在于：通过持续获取左眼眼部图片和右眼眼部图片，并判断是同时眨单眼还是眨双眼来分辨是正常眨眼还是控制眨眼，只有在单眼眨眼时，才对眨眼图片持续产生的帧数进行分析，当持续时间超过预设的第一时间阈值时，才认为是控制眨眼，从而输出眨眼控制指令，判断流程简单易执行，且很好的解决了误眨眼或正常眨眼对眨眼控制判断的影响。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将结合附图及实施例对本发明作进一步说明，下面描述中的附图仅仅是本发明的部分实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图：
图1是本发明较佳实施例的眼动控制方法流程图；
图2是本发明较佳实施例的眼动控制装置原理框图。
具体实施方式
为了使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明的部分实施例，而不是全部实施例。基于本发明的实施例，本领域普通技术人员在没有付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。
本发明较佳实施例的眼动控制方法流程如图1所示，包括以下步骤：
步骤S10：通过摄像头以预设时间间隔持续分别获取左眼和右眼的眼部图片；
步骤S20：通过图像分析，判断在同一时刻左眼和右眼眼部图片分别为睁眼图片还是闭眼图片；
步骤S30：在左眼图片和右眼图片其中一幅为眨眼图片时，计数连续获取的眨眼图片帧数；
步骤S40：将计数值与预设的第一阈值进行比较，若计数值大于预设的第一阈值，则输出眨眼控制指令。
本发明的上述方法通过持续获取左眼眼部图片和右眼眼部图片，并判断是同时眨单眼还是眨双眼来分辨是正常眨眼还是控制眨眼，只有在单眼眨眼时，才对眨眼图片持续产生的帧数进行分析，当持续时间超过预设的第一时间阈值时，才认为是控制眨眼，从而输出眨眼控制指令，判断流程简单易执行，且很好的解决了误眨眼或正常眨眼对眨眼控制判断的影响。
上述实施例中，眨眼控制指令可以是需要对智能设备进行控制的任意指令，例如暂停、关机、开机、音量调节、播放进度调节等等。也可以按上述方法的原理，合理设置控制眨眼动作的时间长短，不同时间长短的眨眼动作对应不同的控制指令。
上述眼动控制方法中，步骤S30还包括：
在所获取的左眼图片和右眼图片同时为闭眼图片时，认为是正常闭眼动作，则忽略该图片。
上述眼动控制方法中，步骤S30还包括：
在所获取的左眼图片和右眼图片同时为睁眼图片时，对当前帧眼部图片进行分析，提取其中瞳孔周围图片，计算当前帧眼部图片的瞳孔周围图片面积并存储，瞳孔周围图片包括眼眶内侧边缘与瞳孔外侧边缘之间的图片，根据所存储的多个眼动状态下瞳孔周围图片面积的变化趋势判断眼动方向。
上述眼动控制方法中，预设时间间隔为35-50ms。
在本发明的另一实施例中，还提供了一种眼动控制装置，如图2所示，包括：摄像模块10，用于通过摄像头以预设时间间隔持续分别获取左眼和右眼的眼部图片；图像分析模块20，用于通过图像分析，判断在同一时刻左眼和右眼眼部图片分别为睁眼图片还是闭眼图片；处理器模块30，用于在左眼图片和右眼图片其中一幅为眨眼图片时，计数连续获取的眨眼图片帧数；比较模块40，用于将计数值与预设的第一阈值进行比较，若计数值大于预设的第一阈值，则输出眨眼控制指令。本实施例通过持续获取左眼眼部图片和右眼眼部图片，并判断是同时眨单眼还是眨双眼来分辨是正常眨眼还是控制眨眼，只有在单眼眨眼时，才对眨眼图片持续产生的帧数进行分析，当持续时间超过预设的第一时间阈值时，才认为是控制眨眼，从而输出眨眼控制指令，判断流程简单易执行，且很好的解决了误眨眼或正常眨眼对眨眼控制判断的影响。
上述眼动控制装置由硬件电路或FPGA实现，也可以是由软硬件结合实现。
上述眼动控制装置中，处理器模块30，还用于在所获取的左眼图片和右眼图片同时为闭眼图片时，认为是正常闭眼动作，忽略该图片。
上述眼动控制装置中，处理器模块30，还用于在所获取的左眼图片和右眼图片同时为睁眼图片时，对当前帧眼部图片进行分析，提取其中瞳孔周围图片，计算当前帧眼部图片的瞳孔周围图片面积并存储，瞳孔周围图片包括眼眶内侧边缘与瞳孔外侧边缘之间的图片，根据所存储的多个眼动状态下瞳孔周围图片面积的变化趋势判断眼动方向。
上述眼动控制装置中，预设时间间隔为35-50ms。
应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (9)

1.一种眼动控制方法，其特征在于，包括以下步骤：
步骤1：通过摄像头以预设时间间隔持续分别获取左眼和右眼的眼部图片；
步骤2：通过图像分析，判断在同一时刻左眼和右眼眼部图片分别为睁眼图片还是闭眼图片；
步骤3：在左眼图片和右眼图片其中一幅为眨眼图片时，即单眼眨眼时，计数连续获取的眨眼图片帧数；
步骤4：将计数值与预设的第一阈值进行比较，若计数值大于预设的第一阈值，则输出眨眼控制指令。
2.根据权利要求1所述的眼动控制方法，其特征在于，所述步骤4还包括：
设置控制眨眼动作的时间长短，不同时间长短的眨眼动作对应不同的控制指令。
3.根据权利要求1所述的眼动控制方法，其特征在于，所述步骤3还包括：
在所获取的左眼图片和右眼图片同时为闭眼图片时，认为是正常闭眼动作，忽略该图片。
4.根据权利要求1所述的眼动控制方法，其特征在于，所述步骤3还包括：
在所获取的左眼图片和右眼图片同时为睁眼图片时，对当前帧眼部图片进行分析，提取其中瞳孔周围图片，计算当前帧眼部图片的瞳孔周围图片面积并存储，所述瞳孔周围图片包括眼眶内侧边缘与瞳孔外侧边缘之间的图片，根据所存储的多个眼动状态下瞳孔周围图片面积的变化趋势判断眼动方向。
5.根据权利要求1所述的眼动控制方法，其特征在于，所述预设时间间隔为35-50ms。
6.一种眼动控制装置，其特征在于，包括：
摄像模块，用于通过摄像头以预设时间间隔持续分别获取左眼和右眼的眼部图片；
图像分析模块，用于通过图像分析，判断在同一时刻左眼和右眼眼部图片分别为睁眼图片还是闭眼图片；
处理器模块，用于在左眼图片和右眼图片其中一幅为眨眼图片时，计数连续获取的眨眼图片帧数；
比较模块，用于将计数值与预设的第一阈值进行比较，若计数值大于预设的第一阈值，则输出眨眼控制指令。
7.根据权利要求6所述的眼动控制装置，其特征在于，所述处理器模块，还用于在所获取的左眼图片和右眼图片同时为闭眼图片时，认为是正常闭眼动作，忽略该图片。
8.根据权利要求6所述的眼动控制装置，其特征在于，所述处理器模块，还用于在所获取的左眼图片和右眼图片同时为睁眼图片时，对当前帧眼部图片进行分析，提取其中瞳孔周围图片，计算当前帧眼部图片的瞳孔周围图片面积并存储，所述瞳孔周围图片包括眼眶内侧边缘与瞳孔外侧边缘之间的图片，根据所存储的多个眼动状态下瞳孔周围图片面积的变化趋势判断眼动方向。
9.根据权利要求6所述的眼动控制装置，其特征在于，所述预设时间间隔为35-50ms。
CN201710226282.0A 2017-04-08 2017-04-08 一种眼动控制方法及装置 Pending CN106886290A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710226282.0A CN106886290A (zh) 2017-04-08 2017-04-08 一种眼动控制方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710226282.0A CN106886290A (zh) 2017-04-08 2017-04-08 一种眼动控制方法及装置

Publications (1)

Publication Number Publication Date
CN106886290A true CN106886290A (zh) 2017-06-23

Family

ID=59182773

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710226282.0A Pending CN106886290A (zh) 2017-04-08 2017-04-08 一种眼动控制方法及装置

Country Status (1)

Country Link
CN (1) CN106886290A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107992196A (zh) * 2017-12-08 2018-05-04 天津大学 一种眨眼的人机交互***
CN108551699A (zh) * 2018-04-20 2018-09-18 哈尔滨理工大学 一种眼动控制智能灯以及其控制方法
CN108958488A (zh) * 2018-07-20 2018-12-07 汪若海 一种人脸指令识别方法
CN109144262A (zh) * 2018-08-28 2019-01-04 广东工业大学 一种基于眼动的人机交互方法、装置、设备及存储介质
CN109298782A (zh) * 2018-08-31 2019-02-01 阿里巴巴集团控股有限公司 眼动交互方法、装置及计算机可读存储介质
CN110275620A (zh) * 2019-06-26 2019-09-24 Oppo广东移动通信有限公司 交互方法、交互装置、头戴设备和存储介质
CN111857325A (zh) * 2019-04-25 2020-10-30 北京字节跳动网络技术有限公司 人机交互控制方法、装置和计算机可读存储介质
WO2021143582A1 (zh) * 2020-01-16 2021-07-22 北京七鑫易维信息技术有限公司 一种工作模式的控制方法、装置、设备及存储介质
CN113760097A (zh) * 2021-09-16 2021-12-07 Oppo广东移动通信有限公司 控制音量的方法及装置、终端及计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101344919A (zh) * 2008-08-05 2009-01-14 华南理工大学 视线跟踪方法及应用该方法的残疾人辅助***
CN102018519A (zh) * 2009-09-15 2011-04-20 由田新技股份有限公司 人员专注程度监测***
CN102393796A (zh) * 2011-07-25 2012-03-28 金宇 基于眨眼特征提取的控制方法及基于该方法的拍摄眼镜
US20120133754A1 (en) * 2010-11-26 2012-05-31 Dongguk University Industry-Academic Cooperation Foundation Gaze tracking system and method for controlling internet protocol tv at a distance
CN102830797A (zh) * 2012-07-26 2012-12-19 深圳先进技术研究院 一种基于视线判断的人机交互方法及***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101344919A (zh) * 2008-08-05 2009-01-14 华南理工大学 视线跟踪方法及应用该方法的残疾人辅助***
CN102018519A (zh) * 2009-09-15 2011-04-20 由田新技股份有限公司 人员专注程度监测***
US20120133754A1 (en) * 2010-11-26 2012-05-31 Dongguk University Industry-Academic Cooperation Foundation Gaze tracking system and method for controlling internet protocol tv at a distance
CN102393796A (zh) * 2011-07-25 2012-03-28 金宇 基于眨眼特征提取的控制方法及基于该方法的拍摄眼镜
CN102830797A (zh) * 2012-07-26 2012-12-19 深圳先进技术研究院 一种基于视线判断的人机交互方法及***

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107992196A (zh) * 2017-12-08 2018-05-04 天津大学 一种眨眼的人机交互***
CN108551699A (zh) * 2018-04-20 2018-09-18 哈尔滨理工大学 一种眼动控制智能灯以及其控制方法
CN108551699B (zh) * 2018-04-20 2019-10-01 哈尔滨理工大学 一种眼动控制智能灯以及其控制方法
CN108958488A (zh) * 2018-07-20 2018-12-07 汪若海 一种人脸指令识别方法
CN109144262A (zh) * 2018-08-28 2019-01-04 广东工业大学 一种基于眼动的人机交互方法、装置、设备及存储介质
CN109144262B (zh) * 2018-08-28 2021-11-26 广东工业大学 一种基于眼动的人机交互方法、装置、设备及存储介质
CN109298782A (zh) * 2018-08-31 2019-02-01 阿里巴巴集团控股有限公司 眼动交互方法、装置及计算机可读存储介质
CN111857325A (zh) * 2019-04-25 2020-10-30 北京字节跳动网络技术有限公司 人机交互控制方法、装置和计算机可读存储介质
CN110275620A (zh) * 2019-06-26 2019-09-24 Oppo广东移动通信有限公司 交互方法、交互装置、头戴设备和存储介质
WO2021143582A1 (zh) * 2020-01-16 2021-07-22 北京七鑫易维信息技术有限公司 一种工作模式的控制方法、装置、设备及存储介质
CN113760097A (zh) * 2021-09-16 2021-12-07 Oppo广东移动通信有限公司 控制音量的方法及装置、终端及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN106886290A (zh) 一种眼动控制方法及装置
CN108898118A (zh) 一种视频数据处理方法、装置和存储介质
US9805516B2 (en) 3D holographic virtual object display controlling method based on human-eye tracking
CN105511600B (zh) 一种基于混合现实的多媒体人机交互平台
CN106681503A (zh) 一种显示控制方法、终端及显示装置
CN107092872A (zh) 一种眼动识别方法及装置
CN106033255B (zh) 一种信息处理方法及电子设备
CN110443167A (zh) 传统文化手势的智能识别方法、智能交互方法及相关装置
CN109172293A (zh) 利用图像技术和云端控制技术的视觉训练方法和***
CN110109541A (zh) 一种多模态交互的方法
CN104683847A (zh) 智能控制音量的电视机与方法
CN104766056A (zh) 一种人机交互方法、装置及虚拟头戴设备
CN104793732A (zh) 一种智能眼镜的操作方法及智能眼镜
CN109919065A (zh) 一种使用眼球追踪技术在屏幕上获取关注点的方法
CN104035544B (zh) 一种控制电子设备的方法及电子设备
CN108898058A (zh) 心理活动的识别方法、智能领带及存储介质
CN108670275A (zh) 信号处理方法及相关产品
CN107193514A (zh) 一种终端设备的护眼方法及装置
CN104780465B (zh) 画面参数调节方法及装置
CN107092873A (zh) 一种眼动方向识别方法及装置
CN109426342B (zh) 基于增强现实的文档阅读方法和装置
CN104238756B (zh) 一种信息处理方法及电子设备
CN105763744B (zh) 一种移动终端的视频播放控制方法、装置及移动终端
CN104699230B (zh) 一种输入信息的确定方法和设备
Kao et al. Eye gaze tracking based on pattern voting scheme for mobile device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170623

RJ01 Rejection of invention patent application after publication