CN107992196A - 一种眨眼的人机交互*** - Google Patents

一种眨眼的人机交互*** Download PDF

Info

Publication number
CN107992196A
CN107992196A CN201711291181.8A CN201711291181A CN107992196A CN 107992196 A CN107992196 A CN 107992196A CN 201711291181 A CN201711291181 A CN 201711291181A CN 107992196 A CN107992196 A CN 107992196A
Authority
CN
China
Prior art keywords
man
interactive system
machine interactive
image data
skin
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711291181.8A
Other languages
English (en)
Inventor
刘维祎
黄玉轩
刘强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201711291181.8A priority Critical patent/CN107992196A/zh
Publication of CN107992196A publication Critical patent/CN107992196A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明涉及一种眨眼的人机交互***，该***是采用如下步骤：步骤一，图像数据采集步骤；步骤二，判断图像数据值是否满足肤色值步骤；步骤三，判断闭眼状态是否满足人机交互***的眨眼时间步骤；步骤四，根据闭眼状态选择人机交互***界面步骤；通过摄像头进行肤色识别、判断肤色面积以检测眨眼行为的人机交互***，具有轻便易用、无接触、成本低等优点。

Description

一种眨眼的人机交互***
技术领域
本发明涉及基于人眼的人机交互***，具体涉及通过识别眨眼动作进行人机交互的***。
背景技术
肌萎缩性脊髓侧索硬化症(ALS)是上下运动神经元损伤之后导致患者包括球部(延髓控制的肌肉)、四肢、躯干、胸腹部等部分的肌肉逐渐无力和萎缩的疾病。此种疾病的患者意识完整,但由于神经通路被阻断，仅能依靠眼部运动或脑机接口技术与外界进行交流。传统的帮助病人与外界进行交流的人机交互***主要有基于P300模式向大脑植入电极的脑机接口技术以及依靠采集眨眼产生的生物电进行眨眼识别。然而利用以上方式的人机交互***需要人们在使用时佩戴复杂的设备或在相关部位涂抹导电膏等，给人们的使用造成了很大的麻烦。
眼球追踪技术作为一项科学应用技术也可作为人机交互***的接口为“渐冻人”或其他运动神经元病患者提供帮助。目前眼球追踪技术的实现方式主要有以下三种：一是根据眼球和眼球周边的特征变化进行跟踪；二是根据虹膜角度变化进行跟踪；三是主动投射红外线等光束到虹膜来提取特征。目前以投射红外线或近红外线至虹膜以提取特征的眼球追踪技术较为成熟，应用也最为普遍。然而使用此种方法需要开发相应的软件以及购买相应配套的设备，且此种设备的价格较为昂贵。
发明内容
本发明的目的在于克服上述背景技术存在的缺陷，提供一种通过摄像头进行肤色识别、判断肤色面积以检测眨眼行为的人机交互***，具有轻便易用、无接触、成本低等优点。
为了解决现有技术问题，本发明采用如下技术方案:
一种眨眼人机交互***，包括：
步骤一，图像数据采集步骤；
步骤二，判断图像数据值是否满足肤色值步骤；
步骤三，判断闭眼状态是否满足人机交互***的眨眼时间步骤；
步骤四，根据闭眼状态选择人机交互***界面步骤；
所述步骤二中判断图像数据值是否满足肤色值步骤，包括：
若图像数据值等于肤色值时，则n＝n+1，否则返回步骤一；
若图像数据值等于肤色阀值时，则判定为闭眼状态进入步骤三，否则返回步骤一。
所述步骤二中肤色值选取范围为：
80<＝U＜＝120；131<＝V＜＝185
所述步骤二中肤色阀值为一帧图像总像素数的19/20像素。
与现有技术相比，本发明具有的优点：
本发明采用YUV图像数据格式进行肤色过滤的方法对眨眼行为进行识别，相比现有的部分眨眼识别的人机交互方案，有效地降低了成本，同时，该装置相比于其他设备，具有佩戴方便、无接触测量的优点。
附图说明
图1为本发明的流程图。
图2为本发明的***装置示意图。
具体实施方式
下面通过具体实施例和附图对本发明作进一步的说明。本发明的实施例是为了更好地使本领域的技术人员更好地理解本发明，并不对本发明作任何的限制。
如图1所示，步骤一101，图像数据采集步骤；本发明采用的摄像头型号为OV7670，配置为YUV格式图像数据输出，摄像头所输出图像大小为640*480，帧率为30。YUV视频流以4:2:2的格式输出，即每两个像素公用一个U、V信号，每个像素的大小为16bit。摄像头以UYVY的形式输出图像数据。
步骤二(102，103,104)判断图像数据值是否满足肤色值步骤；
该步骤中判断图像数据值是否满足肤色值步骤，包括：
若图像数据值等于肤色值时，则n＝n+1，否则返回步骤一；
若图像数据值等于肤色阀值时，则判定为闭眼状态进入步骤三，否则返回步骤一。
本发明中肤色进行判别是根据实验结果，所判定该像素为肤色的条件，即皮肤色的范围如下：
80＜＝U＜＝120；131＜＝V＜＝185
对每帧图像数据的肤色像素数进行计数。根据实验结果，当眼部距离摄像头的距离为5cm 左右时，可以获得较好的识别效果。此时，将皮肤色像素数阈值设置为290000，即每帧图像皮肤色像素数大于此数值时，可判定当前为闭眼状态。
步骤三105，判断闭眼状态是否满足人机互换***的眨眼时间步骤；本发明对每帧图像数据的肤色像素数进行计数。摄像头距离眼部的距离不同，肤色阈值的大小也可能不同。当摄像头距离眼部的距离为5-10cm时，肤色阈值选取290000像素可获得较好的效果。根据实验结果，当眼部距离摄像头的距离为5cm～10cm左右时，可以获得较好的识别效果。此时，将皮肤色像素数阈值设置为290000，即每帧图像皮肤色像素数大于此数值时，可判定当前为闭眼状态。根据资料显示，普通行为的眨眼过程所持续的时间即睁-闭-睁过程需要几帧到十几帧的时间(0.25s以内)，因此为区分普通眨眼与人机交互行为的眨眼，应将人机交互行为的眨眼时间设置值长于该值。
步骤四106，根据闭眼状态选择人机交互***界面步骤；在本发明中利用VGA显示器作为人机交互的界面，通过不同的闭眼时间***向控制VGA显示的模块发送不同的人机交互信号实现了诸如选择页面、切换页面、关机等功能。同时，将上述经过肤色过滤的图像即二值化的面部图像显示在显示器上，根据肤色过滤情况对眼部与摄像头相对位置关系、肤色像素数阈值、肤色取值范围等参数进行调整。
为了后续对***进行进一步测试与优化，将经过肤色过滤的图像即二值化的面部图像显示在显示器上。信号处理设备将图像数据信号读入，一次读入2个像素即32bit数据。若图像数据信号满足(2)，则将肤色像素点设置为白色(RGB格式)，否则将非肤色像素点设置为黑色(RGB格式)，之后将经过肤色过滤后的图像即黑白RGB图像显示在显示器上以供开发者进行进一步的测试与优化工作。
应当理解的是，这里所讨论的实施方案及实例只是为了说明，对本领域技术人员来说，可以加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (3)

1.一种眨眼人机交互***，包括如下步骤：
步骤一，图像数据采集步骤；
步骤二，判断图像数据值是否满足肤色值步骤；
步骤三，判断闭眼状态是否满足人机交互***的眨眼时间步骤；
步骤四，根据闭眼状态选择人机交互***界面步骤；
其特征在于：所述步骤二中判断图像数据值是否满足肤色值步骤，还包括如下步骤：
若图像数据值等于肤色值时，则n＝n+1，否则返回步骤一；
若图像数据值等于肤色阀值时，则判定为闭眼状态进入步骤三，否则返回步骤一。
2.根据权利要求1所述的一种眨眼人机交互***，其特征在于：所述步骤二中肤色值选取范围为：
80<＝U＜＝120；131<＝V<＝185。
3.根据权利要求1所述的一种眨眼人机交互***，其特征在于：所述步骤二中肤色阀值为一帧图像总像素数的19/20。
CN201711291181.8A 2017-12-08 2017-12-08 一种眨眼的人机交互*** Pending CN107992196A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711291181.8A CN107992196A (zh) 2017-12-08 2017-12-08 一种眨眼的人机交互***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711291181.8A CN107992196A (zh) 2017-12-08 2017-12-08 一种眨眼的人机交互***

Publications (1)

Publication Number Publication Date
CN107992196A true CN107992196A (zh) 2018-05-04

Family

ID=62036641

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711291181.8A Pending CN107992196A (zh) 2017-12-08 2017-12-08 一种眨眼的人机交互***

Country Status (1)

Country Link
CN (1) CN107992196A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110308794A (zh) * 2019-07-04 2019-10-08 郑州大学 具有两种显示模式的虚拟现实头盔及显示模式的控制方法
CN114253439A (zh) * 2021-10-30 2022-03-29 惠州华阳通用智慧车载***开发有限公司 一种多屏交互方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103677270A (zh) * 2013-12-13 2014-03-26 电子科技大学 一种基于眼动跟踪的人机交互方法
US20140168054A1 (en) * 2012-12-14 2014-06-19 Echostar Technologies L.L.C. Automatic page turning of electronically displayed content based on captured eye position data
US20160041614A1 (en) * 2014-08-06 2016-02-11 Samsung Display Co., Ltd. System and method of inducing user eye blink
CN106610719A (zh) * 2016-11-25 2017-05-03 奇酷互联网络科技（深圳）有限公司 快捷操作方法、装置和终端设备
CN106886290A (zh) * 2017-04-08 2017-06-23 闲客智能（深圳）科技有限公司 一种眼动控制方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140168054A1 (en) * 2012-12-14 2014-06-19 Echostar Technologies L.L.C. Automatic page turning of electronically displayed content based on captured eye position data
CN103677270A (zh) * 2013-12-13 2014-03-26 电子科技大学 一种基于眼动跟踪的人机交互方法
US20160041614A1 (en) * 2014-08-06 2016-02-11 Samsung Display Co., Ltd. System and method of inducing user eye blink
CN106610719A (zh) * 2016-11-25 2017-05-03 奇酷互联网络科技（深圳）有限公司 快捷操作方法、装置和终端设备
CN106886290A (zh) * 2017-04-08 2017-06-23 闲客智能（深圳）科技有限公司 一种眼动控制方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
武照敏: "基于眨眼动作的低成本人机交互***研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110308794A (zh) * 2019-07-04 2019-10-08 郑州大学 具有两种显示模式的虚拟现实头盔及显示模式的控制方法
CN114253439A (zh) * 2021-10-30 2022-03-29 惠州华阳通用智慧车载***开发有限公司 一种多屏交互方法
CN114253439B (zh) * 2021-10-30 2024-06-04 惠州华阳通用智慧车载***开发有限公司 一种多屏交互方法

Similar Documents

Publication Publication Date Title
CN107193383B (zh) 一种基于人脸朝向约束的二级视线追踪方法
CN102708383B (zh) 一种多模态比对功能的活体人脸检测***与方法
CN104361326A (zh) 一种判别活体人脸的方法
CN104951773A (zh) 一种实时人脸识别监视***
CN104504856A (zh) 基于Kinect及人脸识别的疲劳驾驶检测方法
CN107798318A (zh) 一种机器人识别面部快乐微表情的方法及其装置
CN101719015A (zh) 指示手势的手指尖定位方法
CN107292894B (zh) 一种用于对罐斑图像特征进行处理的方法及***
CN104679242A (zh) 基于单目视觉复杂背景下的手势分割方法
CN106200006A (zh) 脑电波控制的智能ar眼镜设备
CN110286757A (zh) 一种基于混合现实的可穿戴式脑机接口***及控制方法
CN106527706A (zh) 用于移动终端虹膜识别的引导指示人机接口***和方法
CN107589628A (zh) 一种基于手势识别的全息投影装置及其工作方法
CN107992196A (zh) 一种眨眼的人机交互***
CN110134243A (zh) 一种基于增强现实的脑控机械臂共享控制***及其方法
CN104751156A (zh) 一种可调光的手指静脉图像采集***
CN102945363B (zh) 一种可自动调整照射光强的手指静脉图像采集装置及其采集方法
CN112084986A (zh) 一种基于图像特征提取的实时安全帽检测方法
CN110215044A (zh) 一种智能美妆镜
CN112089589B (zh) 一种颈部按摩仪的控制方法、颈部按摩仪及存储介质
CN103106399A (zh) 一种智能型手背静脉图像采集装置
CN111652131A (zh) 人脸识别装置及其补光方法、可读存储介质
KR20040072286A (ko) 입 벌림 정도와 얼굴방향 인식방법 및 얼굴 제스처를이용한 로봇 구동방법
Sanchez-Garcia et al. Structural and object detection for phosphene images
CN109102505A (zh) 基于图像的非接触式手掌疱疹检测***及其检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180504